Alexsandro Haag - Sharing knowledge

Acabei de fazer a prova para certificação em Pentaho Data Integration. O resultado pode ser visto abaixo... Passei com 87%!!! Viva!!! Rsrsrs. A prova dura 1h30 e tem 53 questões, desde Big Data com Hadoop, Cluster com Carte e uso tradicional das transformações e jobs, bem como steps e job entries, paralelismo, schedule, etc. O link para maiores detalhes sobre a prova é este aqui:  http://www.pentaho.com/service/certification-program O custo hoje da prova é de U$100,00. Em alguns dias recebo o certificado por email.

Não analisei novas funcionalidades, mas particularmente achei bem legal o novo visual do Pentaho Data Integration. Vejam como ficou... Antes: Agora:

Não está conseguindo rodar o Pentaho Data Integration no Linux, na versão 5? Esta é a mensagem de erro que recebe quando roda o spoon.sh via shell? $ ./spoon.sh /opt/pentaho/data-integration # # A fatal error has been detected by the Java Runtime Environment: # # SIGSEGV (0xb) at pc=0x00007fa44ca9f2a1, pid=21708, tid=140345191945984 # # JRE version: OpenJDK Runtime Environment (7.0_55-b14) (build 1.7.0_55-b14) # Java VM: OpenJDK 64-Bit Server VM (24.51-b03 mixed mode linux-amd64 compressed oops) # Problematic frame: # C [libsoup-2.4.so.1+0x6c2a1] soup_session_feature_detach+0x11 # # Failed to write core dump. Core dumps have been disabled.  To enable core dumping, try "ulimit -c unlimited" before starting Java again # # An error report file with more information is saved as: # /opt/pentaho/data-integration/hs_err_pid21708.log # # If you would like to submit a bug report, please include # instructions on how to reproduce the bug and visit: # http://icedtea.classpath...

Já faz alguns dias, mas como também vi somente hoje através do Geek BI , resolvi registrar aqui... Saiu a Versão 5 do Pentaho CE  e também do Data Integration (Kettle). O download pode ser feito pelo site da versão Community: http://community.pentaho.com A versão do Data Integration é a 5.01

Me deparei hoje com um problema de divergência de horário nos campos de data no Kettle , para datas que se encaixam no período do horário de verão, principalmente no dia 20/10/2013.  Olha só abaixo... Tentei resolver forçando com a função trunc() do Oracle o campo de data, porém mesmo assim, o driver jdbc insiste em trazer o campo com o horário 01:00:00 ao invés de 00:00:00. Pesquisando um pouco na internet encontrei no fórum pentahobr alguém que teve o mesmo problema, aqui neste link ... A solução proposta ali, após muita discussão, foi acrescentar nos parâmetros de incialização do Kettle a seguinte instrução:  "-Duser.timezone=GMT-3" Fiz isso, um tanto descrente, mas realmente funcionou. Acrescentei esta instrução nos arquivos spoon.bat, kitchen.bat, pan.bat e carte.bat. Imediatamente abaixo da declaração da variável OPT redeclarei acrescentando esta instrução. Ficou assim: set OPT="%PENTAHO_DI_JAVA_OPTIONS% "-Djava.library.path=%LIBSPATH%...

Quando baixamos o Pentaho Data Integration (Kettle) do site da Comunidade, este vem predefinido com um valor modesto de utilização de memória. Isso ocorre para que seja o mais portável possível em diferentes equipamentos. Mas para que possamos tirar o máximo de proveito do mesmo, podemos customizar o valor de alocação de memória, para melhor se adequar à realidade do nosso projeto. Para isso basta que ajustemos este valor de memória em 4 arquivos de execução do Pentaho Data Integration: pan.sh (pan.bat no Windows) Este arquivo pode ser utilizado para rodar em background transformações que tenham sido previamente criadas através do modo gráfico (spoon) do PDI. kitchen.sh (kitchen.bat no Windows) Este arquivo pode ser utilizado para rodar em background Jobs previamente criados também através do modo gráfico (spoon) do PDI. spoon.sh (spoon.bat no Windows)  Este é o arquivo (script batch de execução) do PDI em modo gráfico, que nos permite desenhar as transformações ...

Parece que para a nova versão do Pentaho Data Integration (Versão 4.4) já estarão sendo disponibilizados 3 novos steps que facilitarão a integração deste com o OpenERP . Um detalhamento da solução consta nesta apresentação publicada no site openerp.tv . Na documentação dos steps do Pentaho Data Integration já podemos ver também o detalhe de como estes 3 novos steps funcionarão: OpenERP Delete -  http://wiki.pentaho.com/display/EAI/OpenERP+Object+Delete OpenERP Input -  http://wiki.pentaho.com/display/EAI/OpenERP+Object+Input OpenERP OutPut -  http://wiki.pentaho.com/display/EAI/OpenERP+Object+Output Além destes novos steps existe também um projeto de mais tempo da Akretion (Parceiro OpenERP) chamado Terminatoor, que pode ser visto aqui:  http://www.akretion.com/en/products-and-services/openerp-kettle-bi-connector-terminatooor Quero ver se baixo do repositório a nova versão para testar estes novos componentes. Daí comento aqui no Blog ou crio um novo ...

Como apoio para uma dúvida em outra postagem deste blog, resolvi detalhar aqui como realizar, de forma simples, o envio de email no formato html pelo Kettle. Em ocasião anterior utilizei um componente XML para encapsular o html dentro de uma tag do tipo CDATA, porém neste exemplo não será necessário, visto que podemos colocar o conteúdo diretamente dentro de um campo no componente "Data Grid". Este componente existe a partir da versão 4 do Kettle. A transformação se resume em apenas 2 componentes, o já mencionado "Data Grid", que conterá todos os campos e conteúdo necessários para o preenchimento do componente "Mail", que será usado para executar o envio do email para o destinatário. Ficará assim: O componente "Data Grid" que chamei de "Dados Email" possui em suas propriedades 2 guias. A primeira onde definimos os campos que o grid possuirá, e a segunda, com os dados preenchidos. Segue abaixo a primeira guia com os campos n...

Segue abaixo nesta dica rápida (1a via celular) alguns parâmetros extra para melhorar o desempenho da conexão com o MSSQL no PDI (Kettle) e também para complementar as informações de conexão, facilitando a identificação através do Activity Monitor. Os parâmetros são os seguintes: sendStringParameterAsUnicode - Se definido como "false" evita que o driver envie os campos de tipo string do Kettle como nvarchar para o banco. Ao invés disso o envio é feito no formato padrão varchar. Isso ajuda por exemplo para que o banco consiga fazer uso dos índices de forma eficiente. packetSize - Determina o tamanho máximo do pacote que é enviado para o banco. O padrão do driver é 8000, se definirmos como 0 então usará o máximo possível, que é 32767: applicationName - Exibe o nome da aplicação no monitor de conexões no MSSQL. Este parâmetro não influencia na performance, sendo apenas informativo. Na figura abaixo demonstro como aplicar estas configurações na conexão do Kettl...

Para quem tiver problemas para executar o Pentaho Data Integration (Kettle) no Ubuntu 11.04 32bits (talvez também no 64bits) segue abaixo dica de ajustes que devem ser feitos no script de inicialização "spoon.sh": Ajustar o LIBPATH, removendo o $BASEDIR dali, que só está atrapalhando; Acrescentar o "cd $BASEDIR" antes da chamada de execução do Kettle (no final do arquivo, antes da chamada da aplicação); Usar o pacote java da Oracle, ao invés do OpenJDK (mais detalhes aqui ); Com os passos acima o PDI já vai abrir, porém, possivelmente haverá problemas com o "drag and drop" ao arrastar componentes para compor uma transformação. Para ajustar isso será necessário desativar a nova barra de rolagem do Ubuntu, pois ela que causa este conflito com o Java. Para isso basta rodar este comando no terminal (como root): echo "export LIBOVERLAY_SCROLLBAR=0" > /etc/X11/Xsession.d/80overlayscrollbars Para essa configuração ser ativada...

Existem algumas situações em que rodamos algum job ou transformação do Kettle via Spoon (Ferramenta de Design), então depois de algumas horas de execução vamos verificar e, para nossa surpresa, o Kettle fechou totalmente e não temos a mínima idéia do ponto em que ele parou. Uma forma fácil de encontrarmos alguma informação sobre isso é verificando a pasta %TEMP% do Windows, ou java.io.tmpdir do Kettle. Ali encontraremos o arquivo de log que estava sendo exibido em tempo de execução dentro da sua interface, podendo abri-lo com qualquer programa de texto, como o notepad, wordpad ou notepad++. Ali podemos achar a razão do problema.  Então fica a dica: Nome padrão do arquivo de log do Spoon: spoon*.log (se houver mais de um pegue o mais recente) Caminho: %TEMP% (java.io.tmpdir). Obs.: No Linux não cheguei a me certificar, mas partindo da lógica possivelmente a pasta padrão para os logs será a /tmp . Para acessar rapidamente a pasta %TEMP% geralmente faço c...

Estou revisando algumas rotinas feitas em Kettle com o intuito de melhorar a velocidade com que são executadas. Uma das tarefas hoje foi averiguar a necessidade de uso de alguns steps de Javascript (conhecidamente custosos) buscando possíveis substituições que fossem mais performáticas. Desta forma resolvi trocar um dos steps que se chama "Define deMes e Semestre" construído sobre o step "Modified Javascript Value" pelo  "User Defined Java Expression". Em resumo ficou assim: - Troca do componente “Modified JavaScript Value” ( Interpretado )... - Pelo “User Defined Java Expression” ( Compilado )... - Detalhes do step JavaScript: - Detalhes do Step Java Expression: Abaixo descrevo melhor as "Java Expressions que criei, em substituição às feitas em Javascript: Expressão para variável “deMesAno”: nuMes+"/"+ nuAno Expressão para variável “semestre”: nuMes<=6 ?"1º Semestre" :...

Vou mostrar abaixo uma tarefa bastante simples utilizando o Pentaho Data Integration, para fins de aprendizado de 2 componentes interessantes, o "table input" (que utilizo em praticamente todos os projetos) e o "Execute Sql Script" (usado eventualmente). O que esta transformação vai fazer será excluir todas as tabelas de determinado esquema de usuário no banco de dados Oracle. Este mesmo script poderia ser utilizado também para exclusão de qualquer objeto, mas fica para um segundo post. No primeiro componente "table input" configurei da seguinte forma: Nome do Step: Tabelas a Excluir Conexão: SPED (o nome da conexão que criei previamente); SQL: Aqui fiz um select na tabela "user_tables" do dicionário do Oracle, que me retorna o nome de todas as tabelas (exceto temporárias). No segundo compontente "Execute Sql Script" configurei assim: Nome do Step: Apaga Tabelas Conexão: A mesma informada no step anterior: SPED SQL: Aqui col...

Recently I needed to migrate the OpenERP for a customer who was in version 5.0 to version 6.0. When trying to use the routine of their own migration tool is accused error, I could not identify. To shorten and facilitate this migration job chose to use Pentaho Data Integration (Kettle). As the client is in beginning of project, it was only necessary to import the Business Partners. This made import as shown below: Migrating Partners: Migrating Partner's Addresses: Migrating Partner's Contacts: Migrating Partner's Jobs: Sorry, I'm not with the project to achieve the prints available now. So I will detail it in the next post. 

 Vou descrever abaixo os passos necessários para atualizar a versão do Pentaho Data Integration, da 3.2 para a 4.0, bem como a atualização do repositório de arquivos (transformações e tarefas): Atualizando a aplicação: O primeiro passo é fazer uma cópia da pasta "Data-Integration" para "Data-Integration_old"; Feito isso apenas descompacto o download da versão 4.0 e coloco a pasta "Data-Integration" onde se encontrava a anterior; Precisei também atualizar o atalho, pois na versão 3.2 existia um binário chamado "kettle.exe", mas na versão 4.0 só encontrei o script "spoon.bat"; Aproveitei e troquei também o ícone para o da nova versão;  Fig.1 - Atalho com o novo ícone da versão 4.0 Após estes simples procedimentos estou com a aplicação atualizada e preciso agora atualizar o meu repositório de arquivos, que descrevo a seguir... Fig.2 - Tela de Abertura do PDI 4.0 Atualizando o Repositório: Ao abrir o novo atalho do PDI 4.0 ...

Dias atrás precisei atender rapidamente uma demanda que surgiu sobre o envio de um aviso aos clientes e parceiros de algumas mudanças de procedimentos de cobrança do setor financeiro. Como no sistema atualmente utilizado pelo cliente não havia uma rotina de Mala-direta pronta acabei optando pelo Pentaho Data Integration como ferramenta para realizar este trabalho. Para isso então fiz uso dos seguinte componentes: Table Input - Buscando os e-mails dos contatos da base de dados do cliente;  Mail Validator - Para validar os e-mails vindos da base, marcando como válidos ou não; Filter Rows - Para filtrar somente os e-mails filtrados como válidos, registrando os inválidos num arquivo texto (4o componente); Text File Output - Para gravar em um arquivo texto de log os e-mails inválidos da base; Add Constant Values - Para adicionar campos com valores constantes para uso, principalmente, no componente de envio do e-mail (9o componente); Get XML Data - Usei para carregar o modelo HTML ...