Hadoop

Engenharia Informática
Sistemas Distribuidos
2010/2011

Relatório de trabalho
HADOOP

Pedro Pinto

09 de Julho de 2011

Instituto Superior Politécnico Gaya

HADOOP- Instalação e configuração

1-Instalação Ubuntu Server
2-Instalar JDK
#su root
#pico etc/apt/sources.list
Adicionar Repositório
#deb http://archive.canonical.com/ lucid partner
#apt-get update
#apt-get install sun-java6-jdk

3-Adicionar utilizador hadoop
#addgroup hadoop
#adduser --ingroup hadoop hadoop
Retirar password utilizador hadoop
#pico /etc/passwd
(retirar x no utilizador )
Utilizador como superutilizador
#visudo
Gerar chaves
#ssh-keygen -t rsa -P “”
#cat /home/hadoop/.ssh/id_rsa.pub >>/home/hadoop/.ssh/authorized_keys
#ssh localhost

4-Instalar Hadoop
#cd /usr/local
#wget http://apache.communilink.net/hadoop/core/hadoop-0.20.2/hadoop0.20.2.tar.gz
#tar -xvf hadoop-0.20.2.tar.gz
#chown -R hadoop:hadoop hadoop-0.20.2
#ln -s hadoop-0.20.2/ hadoop

5-Configurar Hadoop
Adicionar hosts
#pico /etc/hosts u01 u04 u05 u06
Configurar ip-máquina
#pico /etc/network/interfaces
#su - hadoop
#cd /usr/local/hadoop

Pedro Pinto

Pág. ii

Instituto Superior Politécnico Gaya

Adicionar o jdk e o java
#pico conf/hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-6-sun export HADOOP_OPTS=”-Djava.net.preferIPv4Stack=true”
Definir directório de ficheiros do hadoop
#pico conf/core-site.xml
/home/hadoop/ficheiros/hadoop-${user.nome}
#pico conf/mapred-site.xml
Definir nº de replicações (nós)
#pico conf/hdfs-site.xml
Definir nº de Masters e Slaves
#pico conf/masters
#pico conf/slaves
Formatar nós
#bin/hadoop namenode –format
Iniciar todos os serviços
#bin/start-all.sh
Verificar nº de nós ligados
#bin/hadoop dfsadmin -report
#bin/hadoop dfsadmin -safemode leave
#bin/hadoop dfsadmin -refreshNodes
Listar directórios
#bin/hadoop dfs -lsr

6-Clonar máquinas virtuais Slave
Slave04
VBoxMAnage.exe clonehd “D:\VirtMachines\Hadoop_master.vdi”