[Kettle] - Ajuste de Memória de Utilização

Quando baixamos o Pentaho Data Integration (Kettle) do site da Comunidade, este vem predefinido com um valor modesto de utilização de memória. Isso ocorre para que seja o mais portável possível em diferentes equipamentos. Mas para que possamos tirar o máximo de proveito do mesmo, podemos customizar o valor de alocação de memória, para melhor se adequar à realidade do nosso projeto.

Para isso basta que ajustemos este valor de memória em 4 arquivos de execução do Pentaho Data Integration:
  • pan.sh (pan.bat no Windows)
    • Este arquivo pode ser utilizado para rodar em background transformações que tenham sido previamente criadas através do modo gráfico (spoon) do PDI.
  • kitchen.sh (kitchen.bat no Windows)
    • Este arquivo pode ser utilizado para rodar em background Jobs previamente criados também através do modo gráfico (spoon) do PDI.
  • spoon.sh (spoon.bat no Windows)
    •  Este é o arquivo (script batch de execução) do PDI em modo gráfico, que nos permite desenhar as transformações e Jobs e efetivamente desenvolver nosso projeto.
  • carte.sh (carte.bat no Windows)
    • Possui 2 finalidades. Serve para que possamos clusterizar, dividir a carga do PDI, em diferentes instâncias, em diversos servidores. E serve também como Servidor de Aplicação, para que possamos executar Jobs e transformações do Pentaho em modo Web. 

Precisaremos dentro destes 4 arquivos localizarmos um parâmetro chamado -Xmx. Ele virá seguido de um tamanho de alocação de memória. Semelhante a isso:
  • -Xmx512m
Basta alterarmos aqui para o valor que queremos alocar.
Poderia ser algo como -Xmx4096m para usarmos por exemplo 4GB da RAM disponível.
Ou ainda -Xmx1024m, dobrando assim a memória, de 512MB para 1GB.


Só precisamos ter cuidado com o seguinte:
  • Não tentar alocar toda a memória para o PDI, mesmo em um servidor dedicado somente para ele, pois é necessário que se mantenha uma boa reserva para o Sistema Operacional também.
  • Cuidado com a alocação de memória em Sistemas Operacionais de 32bits, pois nestes não conseguiremos alocar mais que 1,3GB de RAM sem parametrização avançada do S.O. 

Neste link na Wikipedia também é possível ver uma explicação técnica sobre "Java Heap Size": http://en.wikipedia.org/wiki/Java_virtual_machine#Heap 

Abaixo também segue documentação oficial da comunidade Pentaho sobre os aplicativos acima mencionados:

Comentários

Anônimo disse…
Parabéns, ótimo post: completo, simples, direto ao ponto, útil.
19 de março de 2013 às 08:28
Alexsandro Haag disse…
Obrigado Amigo.
Estive olhando seu blog também e gostei muito. Muitas dicas e artigos interessantes. Parabéns!
19 de março de 2013 às 10:42
Postar um comentário

Postagens mais visitadas deste blog

[Openfire] - Ajuste de horário no cliente Spark

 Com a mudança do nosso horário de verão para o horário tradicional acabei esbarrando num problema em relação ao Openfire , mais especificamente com o cliente de mensagens instantâneas que utilizamos aqui. O famoso Spark .   O que ocorreu é que, mesmo ajustando o horário no Servidor Linux onde está o Openfire e também o servidor de banco de dados, o Spark continuou exibindo a data adiantada em 1 hora.   Para resolver segui a dica deste post:  http://listas.softwarelivre.org/pipermail/openfire-br/2009-October/004156.html para o mesmo problema só que no início do horário de verão.   Em resumo o que fiz foi remover ou renomear a pasta jre de dentro da instalação do Spark e deixar ele pegar o meu java instalado localmente. Resolvi fazer desta forma, pois esta instalação padrão do java eu atualizo frequentemente (via apt-get). Com isso evito de ter este problema na próxima troca de horário.   Outra possibilidade seria copiar a instalação do Java Runtime de sua m...
Leia mais

Verificar uso de disco em partição ASM do Oracle 11g no Linux

Imagem
Abaixo vou demonstrar como verificar o espaço utilizado pelo ASM no Oracle através do utilitário "asmcmd" pelo Linux. Para isso é necessário que façamos logon no Servidor Linux por ssh , conforme abaixo: ssh oracle@192.168.0.2 oracle@192.168.0.2's password:****** Ou ainda, se for pelo Windows, utilizando o popular "PuTTY" . Ao logarmos como usuário "oracle" possivelmente já assumiremos o perfil da instância padrão do banco, que não será a instância do ASM. Desta forma precisaremos redefinir o ambiente publicando as variáveis abaixo: export ORACLE_HOME=/u00/app/oracle/product/11.1.0/asm export ORACLE_SID=+ASM +ASM é no nome da instância ASM que defini na instalação. Em seguida  basta utilizarmos então o "asmcmd" seguido do comando que exibirá a utilização de disco, o comando lsdg: asmcmd lsdg A saída do comando deve ser semelhante a esta abaixo: Podemos observar as colunas "Total_MB" e "Free_MB" e a última coluna...
Leia mais