Hadoop

Informática Sistemas Distribuidos 2010/2011 Relatório de trabalho HADOOP Pedro Pinto 09 de Julho de 2011 Instituto Superior Politécnico Gaya HADOOP- Instalação e configuração 1-Instalação Ubuntu Server 2-Instalar JDK #su root #pico etc/apt/sources.list Adicionar Repositório #deb http://archive.canonical.com/ lucid partner #apt-get update #apt-get install sun-java6-jdk 3-Adicionar utilizador hadoop #addgroup hadoop #adduser --ingroup hadoop hadoop Retirar password utilizador hadoop #pico /etc/passwd (retirar x no utilizador ) Utilizador como superutilizador #visudo Gerar chaves #ssh-keygen -t rsa -P “” #cat /home/hadoop/.ssh/id_rsa.pub >>/home/hadoop/.ssh/authorized_keys #ssh localhost 4-Instalar Hadoop #cd /usr/local #wget http://apache.communilink.net/hadoop/core/hadoop-0.20.2/hadoop0.20.2.tar.gz #tar -xvf hadoop-0.20.2.tar.gz #chown -R hadoop:hadoop hadoop-0.20.2 #ln -s hadoop-0.20.2/ hadoop 5-Configurar Hadoop Adicionar hosts #pico /etc/hosts u01 u04 u05 u06 Configurar ip-máquina #pico /etc/network/interfaces #su - hadoop #cd /usr/local/hadoop Pedro Pinto Pág. ii Instituto Superior Politécnico Gaya Adicionar o jdk e o java #pico conf/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-6-sun export HADOOP_OPTS=”-Djava.net.preferIPv4Stack=true” Definir directório de ficheiros do hadoop #pico conf/core-site.xml /home/hadoop/ficheiros/hadoop-${user.nome} #pico conf/mapred-site.xml…

Cursos HADOOP com Certificado CLOUDERA Para mais informação com relação à oferta de formação, contatem com a equipe de Pragsis Bidoop a través do e-mail: university@pragsis.com ou pelo telefone: +34 91768049 Cursos HADOOP para programadores e administradores com certificado CLOUDERA Segundo Gartner, o volume de informação gerada cresce de forma progressiva cada ano, dado que confirma o Mckinsey Global Institute, que situa este crescimento em um 40%anual. Este volume tão…

MapReduce Hadoop HENRIQUE SANTANA, LINCOLN SOARES MapReduce - Conceito O MapReduce foi desenvolvido como uma forma de processar grandes volumes de dados distribuindo o processamento em muitas máquinas para que seja processado em um tempo aceitável. Esta distribuição implica em processamento paralelo dado que a mesma função é aplicada em todas as maquinas, porém em conjuntos de dados diferentes em cada um deles. MapReduce - História Diante de um grande problema computacional dos dias…

HADOOP 1. Apache Hadoop, o que é? Apache Hadoop é uma plataforma de computação distribuída para processamento de grandes quantidades de dados. Desenvolvida em Java, permite que uma aplicação seja executada em clusters com mais de 1000 nós. Apache Hadoop é um projeto open-source e mantido pela Apache Software Foundation (ASF). *Fontes: http://wiki.apache.org/hadoop/FrontPage 2. Breve história O Hadoop foi desenvolvido por Doug Cutting e Mike Cafarella em 2005. O nome Hadoop…

CONCEITO DE BIG DATA + HADOOP Douglas do Canto Machado RESUMO O Big Data são grandes volumes de informações não estruturadas e estruturadas de várias fontes distintas. O Hadoop é um software livre de persistência e processamento distribuído que vem se destacando como principal solução de Big Data, estruturando as informações com ferramentas e processos específicos. Palavras-chave: Big Data, Hadoop, informações, dados, estruturados. 1 INTRODUÇÃO Após algumas palestras,…

DE DADOS UTILIZANDO O ARCABOUÇO HADOOP MAPREDUCE Eduardo Petrini Silva Castro Orientador: Prof. Denilson Alves Pereira Introdução ● Contextualização ○ ○ ○ ○ Aumento exponencial da quantidade de dados produzidos. Baixo desempenho de algoritmos. Mineração de dados. Soluções: Paralelismo x Distribuição Introdução ● Hadoop ○ ○ ○ ○ ○ Plataforma desenvolvida pela Apache. Inspirado no Google File System (GFS). Gerencia o armazenamento e o…

Resumo do minicurso sobre Hadoop O Hadoop foi criado pelo Yahoo em 2005 e pode ser considerada uma das maiores invenções de data management desde o modelo relacional. É um framework open source desenvolvido em Java, para rodar aplicações, que manipulem uma grande quantidade de dados, em ambientes “clusterizados” (vários computadores processando um conjunto de dados paralelamente ). Trabalha como um conjunto de ferramentas que trabalham em sintonia para basicamente resolver…

proposto pelos autores é apresentar um framework alternativo para Apache Hadoop Streaming[1]: utilitário que permite que o usuário crie e execute trabalhos com qualquer executável ou script, para processamento de grandes conjunto de dados, utilizando o modelo de programação MapReduce. II. Resumo Com a evolução dos sistemas de informação e, um aumento considerável de volume de dados, que precisam ser processados por esses sistemas, a Google Inc., desenvolveu um modelo de programação…

Hadoop: A biblioteca de softwares do Apache Hadoop é um framework que permite a distribuição de processamento e armazenamento de grandes volumes de dados em clusters de computadores utilizando de modelos de programação simples. Altamente escalável, pode ser aplicado em cenários que variam de um servidor até clusters de milhares de máquinas, cada uma delas contribuindo com capacidade de armazenamento e computação. Ao invés de depender em hardware para fornecer alta disponibilidade, a…

Capítulo 3 Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades Alfredo Goldman, Fabio Kon, Francisco Pereira Junior, Ivanilton Polato, Rosangela de Fátima Pereira Abstract Advancements on the Internet popularity over the last decade and the increase in volume and complexity of services available on the Web led to the generation of massive amounts of data. To process these data, both performance and availability are critical factors that need to be…