Postagens

BIG DATA - Importação incremental via Sqoop

Imagem
Fala Galerinha, passei um tempo sumido devido a necessidade de um tempo dedicado a estudo de coisas novas pra trazer ao nosso blog. Nestes estudos, acabei focando um pouco sobre as premissas do tão falado BiiiiiiiiG Data, isso mesmo. E nest post, vou mostrar pra vocês uma técnica para importação de fontes através de sqoop de forma incremental. Então vamos lá! . Introdução O Sqoop é uma ferramenta projetada para transferir dados entre o Hadoop e bancos de dados relacionais ou mainframes. Você pode usar o Sqoop para importar dados de um sistema de gerenciamento de banco de dados relacional (RDBMS) como MySQL ou Oracle ou um mainframe para o HDFS (Hadoop Distributed File System), transformar os dados no Hadoop MapReduce e exportar os dados de volta para um RDBMS . O Sqoop automatiza a maior parte desse processo, confiando no banco de dados para descrever o esquema para os dados a serem importados. O Sqoop usa o MapReduce para importar e exportar os dados, o que fo...

Agile and Modelo padrão, is possible ?

Imagem
Fala galera! Ca estou eu de novo outra vez trazendo mais um post bem interessante. Já passei diversas vezes por este tipo de conflito de modelos e formas de conciliá-los. Hoje, o mesmo torna a ocorrer e resolvi postar aos senhores, para auxiliá-los caso venham a ter dúvidas sobre o assunto. Após participar de cursos e tirar algumas certificações pela Softex do Mps-Br, verifiquei que não tem segredo. Antes de entrar no assunto, é importante salientar que o Desenvolvimento Ágil não afirma que a documentação não é necessária. Esse mal entendido causa uma distorção da metodologia ao ponto de vista de alguns gerentes e diretores. A documentação é essencial em qualquer projeto, independente da metodologia utilizada. É a partir dela que os requisitos são classificados e processos são detalhados para que exista uma base para o escopo do projeto. Além disso, a documentação facilita a compreensão de novos integrantes da equipe e mantém um melhor controle das atividades de desenvolvi...

DevOps: Sou ou Não sou, eis a questão

Imagem
Faaaaaaaaaaaaaaaaaala galera do mal, estamos aqui de novo outra vez. Primeiramente vou justificar minha sumida (coisa que vocês já devem estar acostumados). Bem dessa vez foi uma imigração que fiz neste país, saindo do Nooooooorte para o Suuuuul, então como fiz isso a pé então demorou um pouco. Haha, to zuando. Bem, sem mais delongas, vamos ao assunto em questão. Como surgiu O movimento DevOps não começou em apenas um lugar, existem muitos lugares que  dão pistas sobre as origens do termo, por volta de 2008 começa-se a utilizar o termo  infraestrutura ágil em algumas listas de discussão com foco em desenvolvimento ágil, e na mesma época durante evento o  Agile  2008. O  Agile  abriu caminho para o DevOps, desviando as direções das metodologias de desenvolvimento de software modelo cascata e indo em direção a um ciclo continuo de desenvolvimento. O termo DevOps foi criado durante a conferência Velocity da O’Reilly em 2009, onde Jo...