top of page
Processamento de Logs da NASA (Agência Espacial) Com Apache Flume e Hbase
Projeto desenvolvido com o objetivo de processar, em um cluster Hadoop, os dados de logs provenientes de requisições realizadas aos servidores da NASA Kennedy Space Center localizado na Flórida, Estados Unidos.
Para o projeto um cluster foi construído em ambiente Linux através de uma Virtual Machine (Máquina Virtual), ou seja, através da virtualização do ambiente na minha máquina física. Sendo assim realizei também toda a configuração da Máquina Virtual preparando para receber o ecossistema Hadoop.
Para trabalhar com a grande quantidade de logs do servidor da NASA utilizei o Apache Flume. Este framework do ecossistema Hadoop é um serviço de manejo de logs gratuito e confiável para manipulação, agregação e coleta de grandes quantidades de dados movendo estas informações para o Apache Hadoop HDFS de acordo com as especificações de configuração do mesmo.
Com o Apache HBase criei uma tabela para receber os logs diretamente do Flume. Esta parte do projeto foi desafiadora e ao mesmo tempo interessante pois mostrou o poder de ambas ferramentas visto que a partir de um conjunto de códigos foi possível particionar o arquivo de log em diferentes colunas melhorando os processos de gerenciamento e análise futura.
Baixe o Projeto Completo
bottom of page