Pentaho, Docker and AWS Elastic Beanstalk - Part 1 and 2

Hi folks,

I am very happy to work with the guys from Globosat in a Pentaho BI Project, especially with Wellington Marinho and Marcelo Modolo.

We are trying to use Pentaho with Docker and AWS Elastic Beanstalk.

As soon as possible we will tell more about it and the results.
 

See the videos:
Part 1

 

Part 2

 

Learn more about our project at:
http://www.fea.usp.br/videos_view.php?id=332&t=8

Vagas na IT4biz para trabalhar com BI, Pentaho, ETL, DW, Web designer, Front end, Vendas, etc

Pessoal,

We are hiring!!! Estamos contratando!!!

Estamos contratando, em 2014, na IT4biz, pessoas com interesse em trabalhar com Open Source, BI, Pentaho, ETL, DW, Web designer, Front end, Vendas, Desenvolvimento web, Desenvolvimento Mobile, etc.

Se você tem interesse em ajudar a IT4biz a crescer envie o seu currículo em PDF para rh@it4biz.com.br.

Precisamos de ajuda com Marketing, Vendas, Desenvolvimento, Projetos de BI, Consultoria, Infra Estrutura, Banco de Dados e muitas outras coisas.

Buscamos jovens profissionais que sejam pró-ativos, íntegros, comprometidos, desejosos de aprender, sejam apaixonados por software livre  e que desejam fazer a diferença no mundo.

Mais informações através do site:

http://www.it4biz.com.br/novosite/company/trabalhe-conosco/

Pentaho's Pizza - São Paulo, 23 de Abril de 2012

A Webdetails e a IT4Biz estão a organizar o primeiro "Pentaho's Pizza", a ter lugar em São Paulo no dia 23 de Abril.

Venha partilhar e trocar as suas experiências com Pentaho, assistir (e fazer?) a umas apresentações sobre este tema enquanto trinca um pedaço de Pizza neste evento organizado pela comunidade e para a comunidade pentaho

Inscreva-se, diga-nos porque quer assistir (as inscrições são gratúitas) e diga-nos sobre o que quer falar (opcional mas recomendado - vá, se nós pagamos a comida é o mínimo que podem fazer)

As inscrições são livres mas limitadas

Saiba mais sobre o evento através do e-mail info@it4biz.com.br ou ligue para 11 3522-6684.

Link do evento:

http://pentahospizza.eventbrite.com/

Obs.: Texto escrito pelo nosso amigo português Pedro Alves.

Palestra sobre BI Open Source @ USP

Amigos da USP,

Muito obrigado pelo convite e pela oportunidade.

Abaixo os slides da apresentação que fiquei de compartilhar com todos vocês que estiveram presentes na minha palestra hoje na USP.
Palestra sobre BI Open Source @ USP (Out/2011)

Link do evento de BI na USP.
http://www.each.usp.br/petsi/index.php/ensino/pet-works-business-inteligence/

Conto com vocês colaborando na Comunidade Pentaho no Brasil e no Mundo.

Boa sorte para todos.

Pentaho Team 2009 - "Pick Pentaho"

Amigo leitor,

Já faz um tempo que assisti o video abaixo pela primeira vez no Youtube, porém nunca tinha publicado no meu blog, hoje preparando a minha apresentação para a minha palestra no FliSOL (Festival Latino Americano de Instalação de Software Livre) São Paulo daqui a pouco eu resolvi publicar.

Você tem interesse em saber a história da Pentaho? O video abaixo vai te ajudar.



Resumindo, a Pentaho é o resultado do trabalho de diversas pessoas espalhadas pelo mundo.

Eu achei muito bacana quando o Doug, um dos fundadores da Pentaho fez um comentário no meu blog contando que no começo da empresa ele trabalhava Home Office de sua casa que ficava muito próximo de alguns jacarés.

Tornar sua organização mais competitiva pode ser mais livre do que você imagina!

Amigo leitor,

Divulgar o Pentaho e a Comunidade na Campus Party Brasil 2011 foi uma experiência incrível para mim.

Quando eu começei a trabalhar com o Pentaho alguns anos atrás poucas pessoas conheciam o Pentaho no Brasil. Que felicidade ver onde já chegamos.

Durante a Campus Party Brasil 2011 tive a oportunidade de falar para nossos amigos que estão começando a pensar na construção de um projeto de BI utilizando o Pentaho e ferramentas Open Source.

Em 2009, conheci pessoalmente em Barcelona todos os integrantes mais importantes da Pentaho e da Comunidade Internacional. Desde lá tenho tentado convencer nossos amigos "gringos" a visitarem o Brasil.

Quem sabe esse ano eu trago os caras para nosso encontro. Fiquem atentos, vocês podem ainda este ano conhecer nossos amigos fundadores da Pentaho, vamos torcer.

Por enquanto, continuo divulgando o Pentaho no Brasil através de palestras, oficinas, encontros e treinamentos em todo o Brasil.

Já faz alguns anos que ministro treinamentos in company ou turmas abertas em todo o Brasil pela empresa IT4biz IT Solutions, e também por outras empresas parceiras.

Felizmente já faz alguns anos que trabalho com BI focado na Suite Pentaho e Software Livre ajudando diversas empresas no Brasil e no Mundo. Tem sido uma experiência gratificante ver os clientes tendo sucesso com o Pentaho em seus projetos.

Obrigado aos meus amigos, ex-alunos, clientes e a toda a comunidade Pentaho pelo apoio diário na divulgação dessa Suite extremamente robusta.

Agradeço muito a fotográfa da Campus Party 2011, Camila Cunha, pelas fotos tiradas durante a minha palestra.

Para visualizar a foto ao lado no tamanho original, clique aqui.

Para baixar os slides da minha apresentação, clique aqui.

Melhor que ver os slides é ver a palestra completa em video. Se você deseja assistir, clique aqui.

Business Intelligence from the Brazilian Swamp

Hi guys,

Usually I do not write in english in my blog. But today I am writing in English because I want my folks from Pentaho to see this video about my trip to Pantanal, Mato Grosso, Brazil.

If you work with Pentaho you probably know about the phrase "Business Intelligence from the Swamp".

So, today I will show you the "Business Intelligence from the Brazilian Swamp".



More videos about my trip to Pantanal visit my other blog:

http://corujaontheroad.blogspot.com/2011/01/pantanal-mato-grosso-brazil.html

Video Aula Gratuita - Criação de um Painel Simples utilizando o Pentaho CDF-DE 0.2

Amigo leitor,

Certo dia foi dito na Lista de Pentaho, pelo Pedro Alves, que não havia documentação do CDF-DE porque ninguém havia criado, e incentivou a criação de documentação.

Alguns dias depois, no dia 3 de novembro de 2010, aproveitei o fato de estar sozinho no Hotel e a noite acabei fazendo duas video-aulas sobre o CDF-DE.

Com a correria louca, a conexão sempre lenta de hotel, etc, etc acabei nunca tendo tempo de fazer o upload dos videos.

Finalmente hoje chegou o dia e o momento e aqui estão eles:

Video Aula - Instalação CDF-DE 0.2



Video Aula - Criação de um Painel Simples utilizando o CDF-DE 0.2



Além disso eu já havia feito uma documentação em 28 de Outubro de 2009 sobre o CDF-DE disponível no link abaixo:

http://blog.professorcoruja.com/2009/10/como-instalar-o-cdf-dashboard-editor.html

Pentaho Data Integration Introduction

Amigo leitor,

Abaixo uma apresentação bacana sobre o Kettle (PDI) feita pelo próprio criador Matt Casters.

Pentaho Data Integration Introduction

View more presentations from mattcasters.

Fotos Palestra e Oficina de Pentaho @ Campus Party 2011

Amigos Campuseiros,

Ao lado uma foto tirada durante a minha palestra sobre Pentaho na Campus Party 2011 no dia 18 de Janeiro deste ano.

Clique aqui, para visualizar outras fotos tiradas na CPBR4.

Mais uma vez, obrigado pela participação.

Ganhador do Livro Pentaho 3.2 Data Integration: Beginner's Guide book

Amigos Campuseiros,

Primeiramente obrigado pela presença na minha palestra e oficina de Pentaho na Campus Party 2011, foi um grande prazer conhecê-los.

Conforme prometido realizamos o sorteio do livro de Pentaho.

O Ganhador do Livro "Pentaho 3.2 Data Integration: Beginner's Guide book" sorteado hoje às 16hs durante a Oficina de Pentaho foi o nosso amigo campuseiro Juliano Varella de Carvalho de Novo Hamburgo-RS, parabéns e boa sorte nos estudos do Pentaho.

Do lado esquerdo, Juliano Varella de Carvalho (Ganhador do Livro) e do lado direito Caio Moreno de Souza (Professor Coruja).

Slides Palestra Pentaho @ Campus Party 2011

Amigos Campuseiros,

Obrigado pela presença na minha palestra de Pentaho @ Campus Party 2011.

Abaixo os slides da minha palestra:

Pentaho: Inteligência de Negócios utilizando software livre @ Campus Party 2011

View more presentations from Caio Moreno de Souza.

A IT4biz realizará o sorteio do Livro Pentaho 3.2 Data Integration: Beginner's Guide book na Campus Party 2011

Amigo Campuseiro,

Daqui a pouco teremos uma palestra de Pentaho e depois uma Oficina na Campus Party 2011.

Durante a oficina de Pentaho a IT4biz realizará o o sorteio do livro Pentaho 3.2 Data Integration: Beginner's Guide Book.

Para participar, clique aqui e faça sua a inscrição.

Instalação Avançada do Pentaho BI Server

Amigo leitor,

Muitas pessoas me perguntam sobre "Instalação Avançada do Pentaho BI Server", e já faz um tempo que quero escrever sobre este tema.

Com o intuito de ajudar a comunidade, compartilho o link para um material em inglês muito importante que ensina passo a passo como instalar o Pentaho de uma forma um pouco avançada.

No link abaixo podemos ver como migrar o banco interno do Pentaho para o Oracle, MySQL, MS SQL Server ou PostgreSQL, tanto no Linux como no Windows.

http://www.prashantraju.com/projects/pentaho/

Fazendo isso sua instalação do Pentaho já pode ser considerada um pouco avançada; existem outras coisas que podem ser feitas com o objetivo de melhorar performance, segurança, etc.

STPivot - JPivot com melhorias (Visualizador OLAP)

Amigo leitor,

Já faz bastante tempo que quero divulgar o STPivot aqui no meu blog.

Você deve estar se perguntando: mas o que é o STPivot?

O STPivot é uma versão melhorada do JPivot, desenvolvida por nossos amigos e parceiros da StrateBI, empresa espanhola pioneira em Pentaho na Espanha.

Eu ainda me lembro quando estava em Madrid na Espanha em 2009, trabalhando em um projeto de Pentaho com o Emílio e nossas muitas conversas sobre a grande deficiência do JPivot e sobre a grande necessidade de um visualizador OLAP melhor do que o JPivot. Felizmente, ele investiu alguns euros e divulgou de forma gratuita o STPivot para a comunidade. Estou utilizando o STPivot já faz algum tempo e gostaria de recomendar como uma opção melhor que o JPivot.

Além do JPivot e do STPivot existem outros visualizadores OLAP como o JPalo e o PAT/Saiku.

Material BI Suite Pentaho desenvolvido pela UFMG

Amigo leitor,

Aproveitando a oportunidade da Campus Party 2011, onde eu ministrarei uma palestra e oficina, gostaria de divulgar o trabalho desenvolvido com a Suite de BI Open Source Pentaho do Laboratório de Software Livre da UFMG (Universidade Federal de Minas Gerais).

Nossos amigos desenvolveram alguns tutoriais importantes, são eles:

• Tutorial Pentaho;
• Tutorial Instalação Mondrian;
• Manual Mondrian;
• Manual Workbench;
• Tutorial Metadata Editor.

Pentaho @ Campus Party 2011

Pentaho na campus party 2011

View more presentations from Caio Moreno de Souza.

O Brasil é importante para a Pentaho?

Amigo leitor,

Hoje tive uma excelente surpresa ao baixar o Pentaho BI Server 3.6 CE diretamente do site SourceForge.net e saber que o Brasil é extremamente representativo para o mundo Pentaho.

Como vocês podem ver na imagem ao lado somos o terceiro país que mais descarregou o Pentaho BI Server CE (Community Edition) no mundo. Vocês sabiam disso???

Esses números são de 01 de Fevereiro de 2010 até o dia 01 de Dezembro de 2010, e representam todas as versões do Pentaho BI Server. Atualmente a versão do BI Server é a 3.6, e desta também somos o terceiro país do mundo com maior número de downloads.

Para visualizar esses indicadores diretamente do site da SourceForge.net acesse os links abaixo:

Estatísticas Pentaho BI Server C.E

Estatísticas Pentaho BI Server 3.6 CE

Além do BI Server também somos o terceiro país do mundo a baixar o PDI (Pentaho Data Integration) conforme as estatísticas abaixo:

Estatísticas Pentaho Data Integration

Resumindo, perdemos apenas para a China e Estados Unidos no número de downloads do Pentaho.

Agora ficam as perguntas:

Por que até hoje ninguém da Pentaho veio ao Brasil? Por que a Pentaho ainda não realizou um encontro da comunidade no Brasil como acontece na Europa?

Um tempo atrás escrevi um post chamado "Why Pentaho should hold the Fourth World Meeting of Pentaho Developer Community in Brazil?" e o Doug (Sócio-Fundador da Pentaho) mostrou um pouco de interesse em realizar algo no Brasil.

Quando estive presente no evento da Pentaho em Barcelona em 2009 conversei bastante com o pessoal da Pentaho sobre a importância do Brasil.

Espero em breve anunciar a vocês, amigos leitores alguns, eventos importantes de Pentaho no Brasil.

Esses números mostram o tamanho comprometimento com Software Livre no Brasil e a tamanha importância do mercado brasileiro.

Eu adoraria comparar esses números com os números da versão enterprise (versão paga) e saber nossa posição em relação ao resto do mundo na versão paga.

Vale lembrar que existem empresas dispostas a realizar projetos com a versão community (gratuita) e com a versão enterprise (paga).

Para os meus amigos eu deixo o convite de investir no Pentaho. Atualmente existe muita demanda, e essa demanda vai crescer a cada dia mais. O interesse nessa poderosa ferramenta também cresce a cada dia mais e eu fico extremamente feliz em saber que faço parte dessa história desde 2007 como um pioneiro de Pentaho no Brasil, participando, com certeza, da grande maioria dos projetos importantes no Brasil.

Quando começei a escrever sobre Pentaho no meu blog, não existia quase nada em português sobre o assunto e hoje fico feliz pelos elogios recebidos ao longo desses anos como pioneiro no Brasil.

Vamos juntos fazer essa comunidade crescer!

Pentaho Aggregation Designer Overview

The Pentaho Aggregation Designer simplifies the creation and deployment of aggregate tables that improve the performance of your Pentaho Analysis (Mondrian) OLAP cubes. Pentaho Analysis is a pure, relational OLAP engine that works solely with the data stored in your relational database rather than providing its own multidimensional data storage model. This simplifies deployment and data management, but places limitations on performance when working with very large data sets (fact tables with more than 10 million records and/or cubes with a high cardinality of levels and members). To improve performance in these scenarios, Pentaho Analysis supports aggregate tables. Aggregate tables coexist with the base fact table and contain pre-aggregated measures built from the fact table. This improves performance by enabling the Mondrian engine to fulfill certain summary level queries from the smaller aggregate table versus aggregating a large number of individual facts from the base fact table.

The Pentaho Aggregation Designer provides you with a simple interface that allows you to create
aggregate tables from levels within the dimensions you specify. Based on these selections, the
Aggregation Designer generates the Data Definition Language (DDL) for creating the aggregate
tables, the Data Manipulation Language (DML) for populating them, and an updated Mondrian
schema which references the new aggregate tables. If you are unfamiliar with aggregate table
design concepts, the Aggregation Designer also includes an intelligent adviser that evaluates the
structure and cardinality of your OLAP cube and recommends some initial aggregate tables to
create for improving performance.

PAD - Installation Instructions

The pad-open-1.0-xx.zip file contains all the libraries and script files necessary to run Pentaho
Aggregation Designer. To install the Pentaho Aggregation Designer, unzip this file into a directory of your choice.

To launch the Aggregation Designer on Windows...

Run the startaggregationdesigner.bat script located in the root of your installation directory.

To launch the Aggregation Designer on Linux...
Run the startaggregationdesigner.sh script located in the root of your installation directory.

CAUTION: Place your JDBC driver JARs in the Drivers directory. Once in this directory, the drivers are added to the classpath automatically when the Pentaho Aggregation Designer starts.

Source: Pentaho

If you want to learn more about it, please visit the link below:
http://blog.professorcoruja.com/2010/11/melhore-performance-de-seus-cubos-olap.html

Melhore a performance de seus Cubos OLAP criando tabelas Agregadas no Pentaho usando o PAD (Pentaho Aggregation Designer)

Amigo leitor,

Um tempo atrás fiz a documentação "Melhore a performance de seus Cubos OLAP criando tabelas Agregadas no Pentaho" e gostaria de compartilhar.

Para acessar o link Google Docs desta documentação, clique aqui.

O que são tabelas agregadas?

Tabelas agregadas são tabelas sumarizadas que armazenam dados em níveis mais elevados do que quando foram inicialmente capturados e armazenados.


Por que eu preciso criar tabelas agregadas?

Cria-se tabelas agregadas com o objetivo de aumentar a performance de um cubo OLAP.

Como criar tabelas agregadas no Pentaho?

A forma mais fácil e rápida para se criar tabelas agregadas no Pentaho é utilizar o PAD (Pentaho Aggregation Designer).

O que é o PAD (Pentaho Aggregation Designer)?

Uma ferramenta gráfica desenvolvida em Java para a criação de tabelas agregadas.

Onde eu faço a descarga/download do PAD (Pentaho Aggregation Designer)?

Até o momento a versão mais recente e estável do PAD é a versão 1.2.0.

Para baixar, clique no link abaixo:

http://sourceforge.net/projects/mondrian/files/aggregation%20designer/1.2.0-stable/pad-ce-1.2.0-stable.tar.gz/download

Outras versões do PAD encontram-se no link abaixo:

http://sourceforge.net/projects/mondrian/files/

Como configurar o Mondrian para reconhecer as tabelas agregadas?

É necessário informar ao Mondrian OLAP Server que as tabelas agregadas existem, para isso adicione as linhas abaixo no arquivo Mondrian.properties localizado em pentaho-solutions\system\mondrian (BI Server 3.5)

mondrian.rolap.aggregates.Use=true
mondrian.rolap.aggregates.Read=true

Feito isso, reinicie o BI Server.

Como habilitar o log MDX e SQL no BI Server 3.5?

Quando uma consulta MDX é executada, o Mondrian transforma essa consulta MDX em uma consulta SQL. Em alguns casos você precisa de mais detalhes, como por exemplo saber se o Mondrian está usando as tabelas agregadas.

Para isso:

Edite o arquivo log4j.xml localizado na pasta \tomcat\webapps\pentaho\WEB-INF\classes

Descomente as linhas abaixo:



<!-- ========================================================= -->
<!-- Special Log File specifically for Mondrian -->
<!-- ========================================================= -->


<appender name="MONDRIAN" class="org.apache.log4j.RollingFileAppender">
<param name="File" value="mondrian.log"/>
<param name="Append" value="false"/>
<param name="MaxFileSize" value="500KB"/>
<param name="MaxBackupIndex" value="1"/>

<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern" value="%d %-5p [%c] %m%n"/>
</layout>
</appender>

<category name="mondrian">
<priority value="DEBUG"/>
<appender-ref ref="MONDRIAN"/>
</category>



<!-- ========================================================= -->
<!-- Special Log File specifically for Mondrian MDX Statements -->
<!-- ========================================================= -->

<appender name="MDXLOG" class="org.apache.log4j.RollingFileAppender">
<param name="File" value="mondrian_mdx.log"/>
<param name="Append" value="false"/>
<param name="MaxFileSize" value="500KB"/>
<param name="MaxBackupIndex" value="1"/>
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern" value="%d %-5p [%c] %m%n"/>
</layout>
</appender>

<category name="mondrian.mdx">
<priority value="DEBUG"/>
<appender-ref ref="MDXLOG"/>
</category>


<!-- ========================================================= -->
<!-- Special Log File specifically for Mondrian SQL Statements -->
<!-- ========================================================= -->


<appender name="SQLLOG" class="org.apache.log4j.RollingFileAppender">
<param name="File" value="mondrian_sql.log"/>
<param name="Append" value="false"/>
<param name="MaxFileSize" value="500KB"/>
<param name="MaxBackupIndex" value="1"/>
<layout class="org.apache.log4j.PatternLayout">
<param name="ConversionPattern" value="%d %-5p [%c] %m%n"/>
</layout>
</appender>

<category name="mondrian.sql">
<priority value="DEBUG"/>
<appender-ref ref="SQLLOG"/>
</category>



Se você quer que o SQL também seja mostrado, adicione a linha abaixo no arquivo mondrian.properties localizado no arquivo pentaho-solutions\system\mondrian

mondrian.rolap.generate.formatted.sql=true

Reinicie o servidor e procure pelos arquivos mondrian.log, mondrian_sql.log e mondrian_mdx.log na pasta /tomcat/bin.

Como analisar se a query realmente está sendo realizada no PostgreSQL?

Uma das formas é habilitar o log do PostgreSQL caso o seu DW (Data Warehouse) seja o PostgreSQL.
log_statement = all

Adicione a linha abaixo no arquivo postgresql.conf
log_statement = 'all' (linha provável: 354)

Reiniciar o posgres

Links relacionados

Sim, abaixo os links encontrados:

http://mondrian.pentaho.com/documentation/schema.php

http://sourceforge.net/projects/mondrian/files/

http://julianhyde.blogspot.com/2008/10/pentaho-20-brings-good-things.html

http://www.willgorman.com/?p=30

http://diethardsteiner.blogspot.com/2009/07/tutorial-aggregated-tables-for-mondrian_6998.html

Os textos abaixo em inglês foram extraídos do arquivo Pentaho_ce_aggregation_designer_UG_v1.0.pdf (Documentação da Pentaho sobre o PAD)

Pentaho Aggregation Designer Overview

The Pentaho Aggregation Designer simplifies the creation and deployment of aggregate tables that improve the performance of your Pentaho Analysis (Mondrian) OLAP cubes. Pentaho Analysis is a pure, relational OLAP engine that works solely with the data stored in your relational database rather than providing its own multidimensional data storage model. This simplifies deployment and data management, but places limitations on performance when working with very large data sets (fact tables with more than 10 million records and/or cubes with a high cardinality of levels and members). To improve performance in these scenarios, Pentaho Analysis supports aggregate tables. Aggregate tables coexist with the base fact table and contain pre-aggregated measures built from the fact table. This improves performance by enabling the Mondrian engine to fulfill certain summary level queries from the smaller aggregate table versus aggregating a large number of individual facts from the base fact table.

The Pentaho Aggregation Designer provides you with a simple interface that allows you to create

aggregate tables from levels within the dimensions you specify. Based on these selections, the

Aggregation Designer generates the Data Definition Language (DDL) for creating the aggregate

tables, the Data Manipulation Language (DML) for populating them, and an updated Mondrian

schema which references the new aggregate tables. If you are unfamiliar with aggregate table

design concepts, the Aggregation Designer also includes an intelligent adviser that evaluates the

structure and cardinality of your OLAP cube and recommends some initial aggregate tables to

create for improving performance.

PAD - Installation Instructions

The pad-open-1.0-xx.zip file contains all the libraries and script files necessary to run Pentaho
Aggregation Designer. To install the Pentaho Aggregation Designer, unzip this file into a directory of your choice.

To launch the Aggregation Designer on Windows...

Run the startaggregationdesigner.bat script located in the root of your installation directory.

To launch the Aggregation Designer on Linux...
Run the startaggregationdesigner.sh script located in the root of your installation directory.

CAUTION: Place your JDBC driver JARs in the Drivers directory. Once in this directory, the drivers are added to the classpath automatically when the Pentaho Aggregation Designer starts.