Hadoop

INTERDISCIPLINAR V São Paulo - SP 2013 Lista de Figuras Figura 1. Exemplo de arquitetura utilizando o sistema Memcached............................. Figura 2. Utilização do Hadoop...................................................................................... Figura 3. Arquitetura do sistema de arquivos do Hadoop (HDFS)............................... Lista de Abreviaturas e Siglas

Nasa utiliza Hadoop A NASA conta com a Hadoop para lidar com grandes volumes de dados em projetos como o Square Kilometer Array, para visualização dos céus: prevê-se que este produza 700 TB quando for construído na próxima década. Os sistemas de dados vão incluir a Hadoop, assim como tecnologias Apache OODT (Object Oriented Data Technology), para lidar com maciços volumes de trabalho, diz Chris Mattmann, cientista de computação da NASA. Twitter utiliza Hadoop O Twitter é um outro

MapReduce Hadoop H d Amazon’s VPC 2 1 Historia e Contexto Mainframes (≈ 1950‐80) Micro‐computadores (80’s) Cliente‐Servidor (80) WWW (≈ 1992) Telefonia Móvel (≈ 1995) Grid Computing (≈ 1995) VMware e Xen (≈ 1999) SalesForce.com (≈ 1999) SUN’s Thin Client Computing (≈ 1999) Representational State Transfer (REST) - Roy Fielding’s PhD (2000) Banda Larga (>2000) Writley/Google Apps/Zoho – Office prod. Apps (≈ 2005) Amazon WS (≈ 2005) Apache s Apache’s…

Elastic MapReduce MapReduce Hadoop H d Amazon’s VPC 2 Historia e Contexto Mainframes (≈ 1950‐80) Micro‐computadores (80’s) Cliente‐Servidor (80) WWW (≈ 1992) Telefonia Móvel (≈ 1995) Grid Computing (≈ 1995) VMware e Xen (≈ 1999) SalesForce.com (≈ 1999) SUN’s Thin Client Computing (≈ 1999) Representational State Transfer (REST) - Roy Fielding’s PhD (2000) Banda Larga (>2000) Writley/Google Apps/Zoho – Office prod. Apps (≈ 2005) Amazon WS (≈ 2005) Apache s Apache’s Hadoop (≈…

algoritmo paralelo e distribuído em que a Google foi pioneira. É implementada no projeto Apache Hadoop, utilizando todo o hardware disponível no cluster. Isto torna os problemas de paralelização mais fáceis, apresentando aos programadores uma API estruturada para implementar funcionalidades de computação paralela. Grandes corporações como Amazon e Facebook, utilizam a implementação em larga escala o Hadoop, em aplicações Big Data. Um bom exemplo seria a evolução da capacidade de…

Data / Guilherme de Lima Bernardes. – Brasília, DF, 201473 p. : il. (algumas color.) ; 30 cm. Orientador: Prof. Dr. Fernando William Cruz Trabalho de Conclusão de Curso – Universidade de Brasília - UnB Faculdade UnB Gama - FGA , 2014. 1. Big Data. 2. Hadoop. I. Prof. Dr. Fernando William Cruz. II. Universidade de Brasília. III. Faculdade UnB Gama. IV. Desenvolvimento de Software no Contexto Big Data CDU 02:141:005.6 Guilherme de Lima Bernardes Desenvolvimento de Software no Contexto…

.................. 3 2.3 Privacidade ....................................................................................................................... 3 3. Hadoop .................................................................................................................................... 4 3.1 Arquitetura de um Hadoop ............................................................................................. 4 3.1.1 NameNode.....................................................

foram consultados como referencia, livros voltados ao assunto Big Data, artigos impressos e online, pesquisas com empresas de todo o mundo, revista e internet. Palavras-chave: Big Data, Dados Estruturados, Dados Não Estruturados, Escalável, Hadoop, Hardware, MapReduce. 1 Aluno da Faculdade Infórium de Tecnologia. Professora da Faculdade Infórium de Tecnologia, e Mestre em Psicologia. 3 Aluno da Faculdade Infórium de Tecnologia. 4 Especialista em Gestão da Informação pelo…

no contexto de Big Data, ficando muito difícil a utilização de forma eficiente dos Sistemas gerenciadores de Base de Dados (SGBD) tradicionais, por causa desse e de outros problemas surgi às aplicações para Big Data exemplo de uma delas é o Apache Hadoop. Um mercado relativamente novo, onde empresas como facebook nascem e rapidamente se tornam mundiais, pois a internet tornou a comunicação entre as pessoas mais rápida em escala global. Neste cenário em ascensão através da utilização de…

crescente uso de tecnologias. Realizado por meio da internet e pesquisa bibliográfica, buscando material que já existia sobre o assunto e mostrando casos reais. Palavras-chave: Big Data; grande volume de dados; armazenamento; velocidade; tecnologia; hadoop. SUMÁRIO 1 INTRODUÇÃO .................................................................................................................. 1 2 ARMAZENAMENTO DE DADOS…