xcvb

Hadoop: A biblioteca de softwares do Apache Hadoop é um framework que permite a distribuição de processamento e armazenamento de grandes volumes de dados em clusters de computadores utilizando de modelos de programação simples. Altamente escalável, pode ser aplicado em cenários que variam de um servidor até clusters de milhares de máquinas, cada uma delas contribuindo com capacidade de armazenamento e computação. Ao invés de depender em hardware para fornecer alta disponibilidade, a biblioteca é desenvolvida para detectar e lidar com erros no nível de aplicação, consequentemente fornecendo um serviço altamente confiável no topo de um cluster de computadores, apesar de cada nodo estar inclinado a falhas de hardware.
Módulos do Hadoop são:
Hadoop Common: Utilitários comuns que dão suporte a outros módulos do Hadoop
Hadoop Distributed File System (HDFS): Sistema de arquivos distribuído, ou seja, os arquivos são armazenados em pontos diferentes do cluster, providencia armazenamento redundante, cada arquivo está em mais de um ponto do cluster. Foi desenvolvido para permitir o armazenamento seguro de dados utilizando de hardware relativamente de nível de consumidor.
Hadoop YARN: Um framework que programa e gerencia os recursos do cluster.
Hadoop MapReduce: Um modelo de pragramação para expressar computações em escala massiva, serve como framework para organizar e fazer ditas computações, é dividido em dois procedimentos base:
Passo Map: O nodo mestre pega a entrada, divide em sub problemas menores, e os distribui para os nodos trabalhadores. Um nodo trabalhador pode repetir essa divisão, criando uma estrutura em árvore multinível. O nodo trabalhador processa o trabalho menor e reporta de volta ao seu nodo mestre.
Passo Reduce: O nodo mestre, após coletar as respostas de todos os sub problemas combina os resultados em alguma forma a fim de gerar a saída, a resposta do problema que era estava inicialmente tentando resolver.

Apache Nutch: Rastreador (crawler)