Pages

Google Ads

Friday, June 14, 2013

Como usar o MongoDB (NoSQL e BigData) no PDI (Pentaho Data Integration) CE (Community Edition)

Pessoal,

Hoje precisei fazer algumas coisas com MongoDB e PDI (Pentaho Data Integration) CE (Community Edition) em um projeto e resolvi compartilhar algumas coisas básicas que podem ajudar outros.

Vamos lá:

1) Instalar o mongodb no Mac.

MacBook-Air-de-Caio:config caiomsouza$ sudo port install mongodb
Password:
--->  Computing dependencies for mongodb
--->  Dependencies to be installed: boost bzip2 icu python27 db46 db_select python_select libpcap pcre scons snappy lzo2 v8
--->  Fetching archive for bzip2

2) Iniciar o serviço do MongoDB no Mac

Crie uma pasta para o local do banco de dados, no meu caso ficou  /Users/caiomsouza/mongodb/data/

Execute no terminal o comando abaixo:

MacBook-Air-de-Caio:config caiomsouza$ mongod --dbpath /Users/caiomsouza/mongodb/data/

Log:
Fri Jun 14 15:03:52.742 [initandlisten] MongoDB starting : pid=6040 port=27017 dbpath=/Users/caiomsouza/mongodb/data/ 64-bit host=MacBook-Air-de-Caio.local
Fri Jun 14 15:03:52.743 [initandlisten] ...


3) Abrir o console

MacBook-Air-de-Caio:mongodb caiomsouza$ mongo

MongoDB shell version: 2.4.4
connecting to: test
Welcome to the MongoDB shell.
For interactive help, type "help".

4) Criar um banco de dados chamado it4biz

> use it4biz;
switched to db it4biz

5) Criar uma coleção (collection) chamada Associados e inserir um registro

> db.Associados.insert({ome: "Caio", idade: 29});

6) Fazer uma consulta nessa coleção

> db.Associados.find();
{ "_id" : ObjectId("51bb5b9852569aa700ef9964"), "ome" : "Caio", "idade" : 29 }

7) Criar o banco de dados it4biz_output

> use it4biz_output;
switched to db it4biz_output

8) Criar uma coleção Teste e inserir um registro, e fazer uma consulta

> db.Teste.insert({ome: "Teste", idade: 40});
> db.Teste.find();
{ "_id" : ObjectId("51bb5d6252569aa700ef9965"), "ome" : "Teste", "idade" : 40 }

9) Agora é hora de usar o PDI para fazermos um exemplo bem simples, ler os dados do banco it4biz e gravar no banco it4biz_output como mostrado no exemplo abaixo, para facilitar sua vida baixe o exemplo (it4biz_mongodb_exemplo_input.ktr) clicando aqui.



Figura 1: Exemplo real criado pela IT4biz de leitura de dados no MongoDB (banco it4biz) e gravação em uma segunda base de dados (banco it4biz_output).

Figura 2: Configuração do Componente MongoDB Input

                                Figura 3: Configuração do Componente MongoDB Input


                             Figura 4: Configuração do Componente MongoDB Output



10) Após criar a transformação é a hora de executar e quando você fizer isso não pode dar erro conforme mostrado na primeira figura, feito isso é necessário verificar se deu certo.

Conforme mostrado na imagem abaixo é possível verificar que a linha foi lida do banco it4biz e gravada no banco it4biz_output


Outras imagens de outros testes realizados.




Alguns links utilizados para o tutorial:






No comments: