Ja'TA'va na Mente

Fala Galera! Vamos começar nosso tuto sobre esta grande tecnologia. O que é Big Data? Dados grandes é uma coleção de grandes conjuntos de dados que não podem ser processadas utilizando computação tradicional técnicas. Não se trata de uma técnica única ou uma ferramenta, ao contrário, envolve muitas áreas de negócios e tecnologia. O que vem nos dados grandes? Dados grandes envolve os dados produzidos por diferentes dispositivos e aplicações. Abaixo estão alguns dos campos que vêm sob a égide de dados grandes. Dados da caixa preta : é um componente do helicóptero, aviões e jatos, etc. Ele capta vozes da tripulação de voo, as gravações de microfones e fones de ouvido, e as informações sobre o desempenho da aeronave. Mídias Sociais os dados : mídias sociais, tais como o Facebook e o Twitter manter as informações e as opiniões postadas por milhões de pessoas em todo o mundo. Os dados : Bolsa de Valores bolsa de valores dos dados contém informações sobre a 'comprar'...

Fala Galerinha, passei um tempo sumido devido a necessidade de um tempo dedicado a estudo de coisas novas pra trazer ao nosso blog. Nestes estudos, acabei focando um pouco sobre as premissas do tão falado BiiiiiiiiG Data, isso mesmo. E nest post, vou mostrar pra vocês uma técnica para importação de fontes através de sqoop de forma incremental. Então vamos lá! . Introdução O Sqoop é uma ferramenta projetada para transferir dados entre o Hadoop e bancos de dados relacionais ou mainframes. Você pode usar o Sqoop para importar dados de um sistema de gerenciamento de banco de dados relacional (RDBMS) como MySQL ou Oracle ou um mainframe para o HDFS (Hadoop Distributed File System), transformar os dados no Hadoop MapReduce e exportar os dados de volta para um RDBMS . O Sqoop automatiza a maior parte desse processo, confiando no banco de dados para descrever o esquema para os dados a serem importados. O Sqoop usa o MapReduce para importar e exportar os dados, o que fo...