Alexsandro Haag - Sharing knowledge

Acabei de fazer a prova para certificação em Pentaho Data Integration. O resultado pode ser visto abaixo... Passei com 87%!!! Viva!!! Rsrsrs. A prova dura 1h30 e tem 53 questões, desde Big Data com Hadoop, Cluster com Carte e uso tradicional das transformações e jobs, bem como steps e job entries, paralelismo, schedule, etc. O link para maiores detalhes sobre a prova é este aqui:  http://www.pentaho.com/service/certification-program O custo hoje da prova é de U$100,00. Em alguns dias recebo o certificado por email.

Não analisei novas funcionalidades, mas particularmente achei bem legal o novo visual do Pentaho Data Integration. Vejam como ficou... Antes: Agora:

Não está conseguindo rodar o Pentaho Data Integration no Linux, na versão 5? Esta é a mensagem de erro que recebe quando roda o spoon.sh via shell? $ ./spoon.sh /opt/pentaho/data-integration # # A fatal error has been detected by the Java Runtime Environment: # # SIGSEGV (0xb) at pc=0x00007fa44ca9f2a1, pid=21708, tid=140345191945984 # # JRE version: OpenJDK Runtime Environment (7.0_55-b14) (build 1.7.0_55-b14) # Java VM: OpenJDK 64-Bit Server VM (24.51-b03 mixed mode linux-amd64 compressed oops) # Problematic frame: # C [libsoup-2.4.so.1+0x6c2a1] soup_session_feature_detach+0x11 # # Failed to write core dump. Core dumps have been disabled.  To enable core dumping, try "ulimit -c unlimited" before starting Java again # # An error report file with more information is saved as: # /opt/pentaho/data-integration/hs_err_pid21708.log # # If you would like to submit a bug report, please include # instructions on how to reproduce the bug and visit: # http://icedtea.classpath...

Já faz alguns dias, mas como também vi somente hoje através do Geek BI , resolvi registrar aqui... Saiu a Versão 5 do Pentaho CE  e também do Data Integration (Kettle). O download pode ser feito pelo site da versão Community: http://community.pentaho.com A versão do Data Integration é a 5.01

Parece que para a nova versão do Pentaho Data Integration (Versão 4.4) já estarão sendo disponibilizados 3 novos steps que facilitarão a integração deste com o OpenERP . Um detalhamento da solução consta nesta apresentação publicada no site openerp.tv . Na documentação dos steps do Pentaho Data Integration já podemos ver também o detalhe de como estes 3 novos steps funcionarão: OpenERP Delete -  http://wiki.pentaho.com/display/EAI/OpenERP+Object+Delete OpenERP Input -  http://wiki.pentaho.com/display/EAI/OpenERP+Object+Input OpenERP OutPut -  http://wiki.pentaho.com/display/EAI/OpenERP+Object+Output Além destes novos steps existe também um projeto de mais tempo da Akretion (Parceiro OpenERP) chamado Terminatoor, que pode ser visto aqui:  http://www.akretion.com/en/products-and-services/openerp-kettle-bi-connector-terminatooor Quero ver se baixo do repositório a nova versão para testar estes novos componentes. Daí comento aqui no Blog ou crio um novo ...

Como apoio para uma dúvida em outra postagem deste blog, resolvi detalhar aqui como realizar, de forma simples, o envio de email no formato html pelo Kettle. Em ocasião anterior utilizei um componente XML para encapsular o html dentro de uma tag do tipo CDATA, porém neste exemplo não será necessário, visto que podemos colocar o conteúdo diretamente dentro de um campo no componente "Data Grid". Este componente existe a partir da versão 4 do Kettle. A transformação se resume em apenas 2 componentes, o já mencionado "Data Grid", que conterá todos os campos e conteúdo necessários para o preenchimento do componente "Mail", que será usado para executar o envio do email para o destinatário. Ficará assim: O componente "Data Grid" que chamei de "Dados Email" possui em suas propriedades 2 guias. A primeira onde definimos os campos que o grid possuirá, e a segunda, com os dados preenchidos. Segue abaixo a primeira guia com os campos n...

Segue abaixo nesta dica rápida (1a via celular) alguns parâmetros extra para melhorar o desempenho da conexão com o MSSQL no PDI (Kettle) e também para complementar as informações de conexão, facilitando a identificação através do Activity Monitor. Os parâmetros são os seguintes: sendStringParameterAsUnicode - Se definido como "false" evita que o driver envie os campos de tipo string do Kettle como nvarchar para o banco. Ao invés disso o envio é feito no formato padrão varchar. Isso ajuda por exemplo para que o banco consiga fazer uso dos índices de forma eficiente. packetSize - Determina o tamanho máximo do pacote que é enviado para o banco. O padrão do driver é 8000, se definirmos como 0 então usará o máximo possível, que é 32767: applicationName - Exibe o nome da aplicação no monitor de conexões no MSSQL. Este parâmetro não influencia na performance, sendo apenas informativo. Na figura abaixo demonstro como aplicar estas configurações na conexão do Kettl...

Para quem tiver problemas para executar o Pentaho Data Integration (Kettle) no Ubuntu 11.04 32bits (talvez também no 64bits) segue abaixo dica de ajustes que devem ser feitos no script de inicialização "spoon.sh": Ajustar o LIBPATH, removendo o $BASEDIR dali, que só está atrapalhando; Acrescentar o "cd $BASEDIR" antes da chamada de execução do Kettle (no final do arquivo, antes da chamada da aplicação); Usar o pacote java da Oracle, ao invés do OpenJDK (mais detalhes aqui ); Com os passos acima o PDI já vai abrir, porém, possivelmente haverá problemas com o "drag and drop" ao arrastar componentes para compor uma transformação. Para ajustar isso será necessário desativar a nova barra de rolagem do Ubuntu, pois ela que causa este conflito com o Java. Para isso basta rodar este comando no terminal (como root): echo "export LIBOVERLAY_SCROLLBAR=0" > /etc/X11/Xsession.d/80overlayscrollbars Para essa configuração ser ativada...

Estou revisando algumas rotinas feitas em Kettle com o intuito de melhorar a velocidade com que são executadas. Uma das tarefas hoje foi averiguar a necessidade de uso de alguns steps de Javascript (conhecidamente custosos) buscando possíveis substituições que fossem mais performáticas. Desta forma resolvi trocar um dos steps que se chama "Define deMes e Semestre" construído sobre o step "Modified Javascript Value" pelo  "User Defined Java Expression". Em resumo ficou assim: - Troca do componente “Modified JavaScript Value” ( Interpretado )... - Pelo “User Defined Java Expression” ( Compilado )... - Detalhes do step JavaScript: - Detalhes do Step Java Expression: Abaixo descrevo melhor as "Java Expressions que criei, em substituição às feitas em Javascript: Expressão para variável “deMesAno”: nuMes+"/"+ nuAno Expressão para variável “semestre”: nuMes<=6 ?"1º Semestre" :...

 Vou descrever abaixo os passos necessários para atualizar a versão do Pentaho Data Integration, da 3.2 para a 4.0, bem como a atualização do repositório de arquivos (transformações e tarefas): Atualizando a aplicação: O primeiro passo é fazer uma cópia da pasta "Data-Integration" para "Data-Integration_old"; Feito isso apenas descompacto o download da versão 4.0 e coloco a pasta "Data-Integration" onde se encontrava a anterior; Precisei também atualizar o atalho, pois na versão 3.2 existia um binário chamado "kettle.exe", mas na versão 4.0 só encontrei o script "spoon.bat"; Aproveitei e troquei também o ícone para o da nova versão;  Fig.1 - Atalho com o novo ícone da versão 4.0 Após estes simples procedimentos estou com a aplicação atualizada e preciso agora atualizar o meu repositório de arquivos, que descrevo a seguir... Fig.2 - Tela de Abertura do PDI 4.0 Atualizando o Repositório: Ao abrir o novo atalho do PDI 4.0 ...

Dias atrás precisei atender rapidamente uma demanda que surgiu sobre o envio de um aviso aos clientes e parceiros de algumas mudanças de procedimentos de cobrança do setor financeiro. Como no sistema atualmente utilizado pelo cliente não havia uma rotina de Mala-direta pronta acabei optando pelo Pentaho Data Integration como ferramenta para realizar este trabalho. Para isso então fiz uso dos seguinte componentes: Table Input - Buscando os e-mails dos contatos da base de dados do cliente;  Mail Validator - Para validar os e-mails vindos da base, marcando como válidos ou não; Filter Rows - Para filtrar somente os e-mails filtrados como válidos, registrando os inválidos num arquivo texto (4o componente); Text File Output - Para gravar em um arquivo texto de log os e-mails inválidos da base; Add Constant Values - Para adicionar campos com valores constantes para uso, principalmente, no componente de envio do e-mail (9o componente); Get XML Data - Usei para carregar o modelo HTML ...

O procedimento para atualização de versão do Pentaho Data Integration é bastante simples. Abaixo descrevo os procedimentos que utilizei... - Ao tentar conectar no repositório do PDI com a nova versão recém baixada recebo a mensagem abaixo, informando que a versão do repositório é 3.0 e precisa ser 3.2. Ainda na mensagem recebo a sugestão de exportar o repositório de projetos para XML, de modo a ter um backup e posteriormente seguir os passos para upgrade. - Como gero um backup diário automático do meu repositório, que descrevi aqui no blog , pulei esta parte e fui diretamente para o processo de upgrade. - Este processo consiste basicamente em clicar no botão "Editar", ao lado do nome do Repositório, entre os botões "Novo" e "Apaga"; - Vai abrir uma nova janela onde é possível visualizar o botão "Create or Upgrade", basta clicar nele para iniciar o processo de upgrade. - Deve pedir para confirmar a senha do usuário Admin para conectar ao repositó...

Vou detalhar abaixo o projeto de backup que criei no Pentaho Data Integration (PDI) para fazer backup do seu próprio repositório de projetos. Tenho um repositório de projetos hospedado em um banco de dados MSSQL 2000. Este tem seu backup realizado regularmente, mas resolvi criar uma rotina independente, pois não sou eu quem administra este backup hoje, além disso, achei muito prático utilizarmos os próprios recursos do PDI para fazer um auto-backup. Em resumo o que o projeto vai fazer é bem simples: Exporta o repositório para um arquivo XML; Compacta o arquivo XML; Faz um Ping no Servidor FTP para ver se está respondendo; Faz upload deste arquivo compactado neste servidor de FTP; Caso haja algum erro num destes processos envia um e-mail para minha caixa detalhando a falha. Abaixo segue uma imagem do Projeto: Ficou bastante simples de configurar e muito prático. Criei um agendamento para executar toda noite, salvando o arquivo com sufixo de Ano + Mês (AAAAMM), com isso vou ter ba...

Dica rápida... Após a conclusão de um Projeto com o Kettle (Ferramenta EAI opensource do projeto de BI "PENTAHO") normalmente precisamos criar um agendamento no Servidor para sua execução. Para isso, seguindo o manual do próprio, podemos utilizar o comando "AT" do Windows de modo a agendar como tarefa. O detalhe é que, para rodar automaticamente sem um login e também para não falhar após qualquer mudança de senha, é interessante utilizarmos o usuário SYSTEM do Windows para rodar tais agendamentos. Para que o Kettle funcione corretamente, acessando seus repositórios também como usuário SYSTEM é importante que se faça a cópia da pasta ".kettle" que se encontra no perfil do usuário que criou o projeto para a pasta do perfil do usuário SYSTEM. Até aí tudo bem, a pasta de perfil dos usuários normalmente se encontra em C:\DOCUMENTS AND SETTINGS\%USER%, onde %USER% é o nome de login do usuário. Mas e onde se encontra o perfil do usuário SYSTEM? A pasta de perfil ...