Business Intelligence & Business Analytics Tags

Atualizações sobre o mundo Pentaho

Aquecimento

Para iniciar, cabe uma breve explanação sobre os acontecimentos que têm aquecido o mercado e a comunidade de empresas, usuários e desenvolvedores de soluções de apoio a decisão, que evitam desperdiçar verdadeiros latifúndios com licenças de uso de softwares antigos e criam suas próprias soluções, sob medida, e sem vínculos com quem quer que seja. Nem com vendedores de licenças, nem de servidores nem de consultorias, cursos ou treinamentos caríssimos e infinitos.

Muitos projetos ambiciosos da atualidade, em todo o mundo, só são considerados viáveis por conta das facilidades oferecidas pelo produto Pentaho, uma suíte (um conjunto de softwares integrados entre si) de código aberto, gratuito, que contempla todas as etapas de soluções de Business Analytics e/ou Business Intelligence, end to end. O Pentaho tem sido turbinado, digamos assim, pelas CTools, um conjunto de plugins criados por uma empresa portuguesa, a Webdetails. Em 2013 ela foi comprada pela Pentaho, empresa que mantém o produto com o mesmo nome, que conta com uma versão Enterprise, não gratuita e ainda mais completa que a versão gratuita, a Community. Ambas as versões passam a contar com várias das Ctools como parte integrante, juntamente com o Pentaho Marketplace, responsável pela instalação e gerenciamento de plugins.

Em 2015 a empresa Pentaho foi comprada por um dos maiores grupos do mundo, a Hitachi, um líder global em indústrias, infraestrutura e tecnologia, que tem, entre outros, foco no mercado de IoT, internet das coisas. Eles gerenciam entre outros empreendimentos, usinas nucleares, metrôs, ferrovias e têm uma gama de sensores bastante considerável. Todos estes sensores geram dados, que precisam ser analisados em tempo hábil para que façam algum sentido e ajudem na tomada de decisões, aplicáveis em praticamente todas as esferas da sociedade. Aí é que entra a suíte Pentaho.

Pentaho Day 2017 Brasil - Curitiba/PR

Pentaho Day 2017 - BrasilE ao falarmos de Pentaho, cabe aqui destacar, ainda com certo delay, que o Pentaho Day 2017 Brasil - Curitiba/PR foi fantástico, como sempre. Foram tantos aprendizados e tantos contatos estabelecidos, que vários projetos desde então foram executados aqui na e-Setorial e nos consumiram, mas não podemos deixar de enaltecer mais essa iniciativa da comunidade Pentaho Brasil, que ajuda profissionais e empresas de ramos de atividade e portes diferentes. A título de exemplo, nossos projetos este ano foram tão variados, que foram desde a análise de dados de Educação à Distância, do Enriquecimento de Dados de Pessoas Físicas e Jurídicas do Brasil, a análise de dados Hospitalares para Planos de Saúde, até um sistema completo para gestão de risco em Usinas Hidrelétricas e Barragens. Todos desenvolvidos utilizando o Pentaho em sua versão gratuita, atingindo excelentes resultados.

O maior evento da comunidade Pentaho do Mundo, contou com mais de 400 participantes e teve Palestras, Cases e Minicursos ministrados por algumas das maiores referências sobre o tema, que aconteceu na Universidade Positivo, em Curitiba/PR, no Brasil, nos dias 11 e 12 de maio.

O destaque principal ficou para apresentação de Matt Casters sobre o seu fantástico Web Spoon, que é o Pentaho Data Integration rodando inteiramente na web, facilitando ainda mais o desenvolvimento e manutenção das soluções.

Muito do material produzido e apresentado no evento está disponível no site do evento, inclusive o minicurso oferecido por Eduardo Carvalho, da e-Setorial, com o título "Design Patterns para Tuning Pentaho com Ctools".

Espaço para Tietagem

Eduardo Alves de Carvalho

Analista Sênior de BI na e-Setorial

"Não são todos os dias que encontramos tantos profissionais que admiramos de uma só vez. Não poderia deixar de registrar a confraternização com o norte americano Matt Casters, à esquerda, criador do Pentaho Data Integration e o português Pedro Alves, ao centro, o Criador das CTools, amigo e meu instrutor por diversas oportunidades, desde 2012. E isso acontecendo em minha cidade natal, Curitiba. Pentaho Day Brasil 2017"


Capricho da organização

A organização do evento foi impecável. Deixamos o agradecimento ao amigo Marcio Junior Vieira, da Ambiente Livre, responsável por mais esta edição do evento.

Hitachi Vantara

Hitachi VantaraEm 18 de setembro de 2017 a Hitachi anunciou a formação da Hitachi Vantara, uma empresa cujo objetivo é ajudar as organizações a prosperar nos tempos incertos e turbulentos de hoje e se preparar para o futuro. Esta nova empresa unifica a missão e as operações da Pentaho, Hitachi Data Systems e Hitachi Insight Group em um único negócio, a Hitachi Vantara. Juntas, dão aos líderes empresariais uma vantagem para encontrar e usar o valor em seus dados, inovar inteligentemente e atingir os resultados que são importantes para as empresas e a sociedade.

Apresentando a Vantara: uma combinação de TI, tecnologia operacional (OT) e expertise de domínio. Com o software de integração e análise de dados Pentaho, a Vantara oferece às organizações o poder de capturar e usar dados de forma eficiente a partir da "borda", onde os dados são movidos de forma fluida por sensores e dispositivos fora dos internos do negócio do dia-a-dia e combinam estes dados de sensores com recursos de dados corporativos mais tradicionais para fornecer um alto nível de contexto e previsões inteligentes que levam a resultados comerciais reais.

O que dizem os envolvidos

Donna Prlich

CHIEF PRODUCT OFFICER

A integração e análise de dados Pentaho continuará a evoluir, e a Hitachi Vantara irá investir para se manter à frente dos futuros desenvolvimentos em grandes dados, IoT e aprendizagem de máquinas. Sabemos o que nossos clientes precisam e com o poder e os recursos da Hitachi, podemos levá-los até mais rápido.

Pedro Alves

SVP Community / Product Designer for Pentaho at Hitachi Vantara

Não há planos de mudar a estratégia de código aberto ou parar de fornecer uma edição CE para a nossa comunidade! Essa mudança pode acontecer no futuro? Oh, absolutamente sim! Assim como poderia ter mudado no passado. E quando poderia mudar? Quando ele deixa de fazer sentido; quando deixa de ser mutuamente benéfico. E naquele dia, serei o primeiro a sugerir uma mudança em nosso modelo. Se a opensource nos trouxe aqui em primeiro lugar - mudaremos realmente isso agora que as coisas estão se aquecendo? Nós somos loucos, não estúpidos;)

Em resumo, foi criada uma nova empresa com uma estrutura muito maior, chamada Hitachi Vantara, que continuará a trabalhar com o produto Pentaho nas suas versões Enterprise, paga, e Community, gratuita.

Pentaho 8.0

Hitachi VantaraA comunidade está em polvorosa e no evento mundial da Pentaho, o PentahoWorld 2017, que aconteceu na semana passada, entre 25 e 27 de outubro em Orlando na Florida.

Entre todos os fantásticos cases apresentados, surgiu mais uma novidade bombástica. Foi anunciado a versão 8 do Pentaho, já para o mês que vem.

  • Plataforma e Escalabilidade
    • Worker nodes
    • Novo tema
  • Data Integration
    • Suporte de streaming!
    • Execute configurações para jobs
    • Filtros no Data Explorer
    • Nova experiência de Abrir / Salvar
  • Big Data Vendemos Inteligência Empresarial
    • Melhorias em AEL
    • Formatos de arquivo para Big Data - Avro e Parquet
    • Segurança em Big Data- Suporte para Knox
    • Melhorias de VFS para Clusters de Hadoop
  • Outras
    • Ops Mart para Oracle, MySQL, SQL Server
    • Melhorias na segurança da senha da plataforma
    • Mavenization PDI
    • Alterações de documentação em help.pentaho.com
    • Remoção de recursos:
      • Analisador em MongoDB
      • Plug-in móvel (desativado em 7.1)

Conclusão

Hitachi Vantara Com investimentos que só uma grande corporação pode fazer, o produto tem tudo para se disseminar ainda mais e ganhar espaço dos grandes players. A equipe de desenvolvimento não para, ao contrário dos concorrentes que só pensam em vender licenças de uso de suas ferramentas. Cada vez mais o pentaho traz segurança, facilidade em desenvolver e manter e o melhor de tudo, com funcionalidades que surpreende até aos mais exigentes. É verdade que ainda são necessários conhecimentos em Java Script e MDX para a implementação de dashboards mais específicos, entretanto aplicações simples, mas e poderosas, podem ser criadas em minutos, sem escrever uma linha de código. O caminho é este.

E que venha o Pentaho 8.0!

Links Úteis

E para onde foram os fóruns, wikis e comunidades? Abaixo separamos alguns links importantes, que o deixarão com mais segurança: 

# Dicas
1 Ctools
2 CCC Playground - Documentação dos gráficos Ctools
3 Alguns dashboards de demonstração
4 Pentaho Community website
5 Grupo de usuários Brasil
6 Forum mundial da comunidade
7 Blog Pedro Alves
8 Desenvolvimento, treinamento e consultoria especializada em Pentaho

Referências

Como o Spotify migrou todo seu data center para o Google Cloud

"E o que as empresas podem aprender com isso; Migração foi complexa, mas agora desenvolvedores têm mais liberdade e maior escala."

O Spotify iniciou a utilização da Google Cloud Platform (GCP) em 2016, com investimentos de US$ 450 milhões em três anos. Para o Google, a plataforma de streaming de músicas tornou-se um cliente referência, não apenas pela sua marca e escala, mas também pela reputação como uma empresa centrada em engenharia e orientada por dados.

O Spotify, desde então, fechou ambos os data centers instalados nos EUA e estará livre de infraestrutura on-premise até o final do ano, após uma migração complexa.

Por que migrar?

Ramon van Alteren, diretor de engenharia do Spotify, comenta que, se pensar na quantidade de esforço necessário para manter a capacidade de computação, em armazenamento e rede de uma empresa global que atende a mais de 170 milhões de usuários, isso é uma quantidade considerável de trabalho.

Além de evitar que desenvolvedores se preocupem com provisionamento e manutenção de infraestrutura, a empresa também queria aproveitar algumas das inovações do Google Cloud, especificamente o data warehouse em nuvem BigQuery, Pub/Sub para envio de mensagens, além da ferramenta DataFlow para processamento em lote e streaming.

Migração de serviços: passo a passo

O plano de migração atual foi formulado em 2015 e dividido em duas partes: serviços e dados. A migração de serviços se concentrou na transferência de quase 1,2 mil microsserviços de data centers para o Google Cloud Platform.

Os três principais objetivos durante a migração, de acordo com van Alteren, foram minimizar a interrupção do desenvolvimento do produto, terminar o mais rápido possível para evitar o custo e a complexidade da execução em um ambiente híbrido, além de garantir que o Spotify não tivesse nenhum serviço executando em seus data centers.

Uma das primeiras ações que as empresas fizeram foi construir uma pequena equipe de migração de engenheiros e criar uma visualização real time de todo o estado de migração para que os engenheiros pudessem se assistir para ver o andamento do projeto.

Essa visualização parece um conjunto de bolhas vermelhas (data center) e verdes (Google Cloud), com cada bolha representando um sistema e o tamanho da bolha representando o número de máquinas envolvidas.

A migração de serviços começou com as dependências de mapeamento, já que a arquitetura no Spotify significa que cada microsserviço depende de 10 a 15 pessoas para atender uma solicitação do cliente. Isso significa que uma migração “big bang”, em que tudo para, não era uma opção, pois os clientes esperam um tempo de atividade constante do serviço.

Em vez disso, as equipes de engenharia do Spotify receberam a tarefa de transferir seus serviços para a nuvem em um sprint de duas semanas, período em que pararam efetivamente qualquer desenvolvimento de produto. Isso também permitiu que essas equipes começassem a avaliar sua arquitetura e desativassem qualquer coisa desnecessária.

Uma coisa que o Google Cloud fez especificamente para o Spotify durante a migração é a opção Virtual Private Cloud (VPC). “Isso permite que você construa de forma semelhante a uma rede interna que conecta vários projetos e eles podem cruzar conversas”, disse van Alteren.

Isso permite às equipes terem um bom controle de suas demandas e, com isso, elas conseguem fazer o que precisam e, se algo dá errado, é somente no setor, e não em toda a empresa.

Uma vez que a migração estava em fluxo total, a equipe de migração central começou a induzir secretamente falhas nesses sistemas de nuvem, registrando como as equipes reagiram na nova arquitetura.

“Isso ajudou a garantir que os sistemas de monitoramento fossem adequadamente estendidos para a nova implementação na nuvem, se uma equipe não percebesse, Finalmente, tivemos esta cartilha em que eles poderiam começar a usar os modos de falha na nuvem que talvez não tivessem no passado”, explica Peter Mark Verwoerd, arquiteto de soluções do Google.

Em maio de 2017, cada sprint de migração foi concluído e o tráfego estava sendo encaminhado para o Google Cloud. Então, em dezembro de 2017, o Spotify atingiu 100% dos usuários e já havia fechado o primeiro dos quatro data centers. Desde então, o segundo data center foi fechado e os dois últimos, ambos na Europa, serão encerrados até o final deste ano.

Migração de dados

Devido a um gráfico de dependência altamente complexo, foi um desafio mover 20 mil tarefas diárias de dados para o GCP sem causar falhas no fluxo, de acordo com Josh Baer, ​​gerente sênior de produtos para a infraestrutura de machine learning do Spotify.

O Spotify começou avaliando a possibilidade de uma migração ‘big bang’. Porém, mesmo com um link de rede de 160 gigabits por segundo, seriam necessários dois meses para copiar os dados do cluster do Hadoop para a infraestrutura do Google. “Nós não seríamos um grande negócio se estivéssemos perdidos por dois meses”, acrescentou ele.

A melhor estratégia, então, foi copiar os dados. “À medida que você transfere seu trabalho para o GCP, você copia suas dependências e, em seguida, pode transportar seu trabalho”, explicou. “Então, se você tem consumidores downstream, talvez tenha que copiar a saída do seu trabalho de volta ao nosso cluster local para que eles não sejam quebrados. Como a maior parte da migração de dados durou de seis a 12 meses, estávamos executando muitos desses empregos para preencher lacunas em nossa árvore de dependência.

Lições aprendidas

Max Charas, engenheiro de nuvem do Google, alerta: “essa estratégia de migração é muito personalizada para o Spotify, então, quem quiser fazer algo assim, pode parecer muito diferente.”

A empresa aprendeu algumas lições importantes com a migração. A primeira delas foi a preparação. “Nós nos preparamos provavelmente dois anos antes da migração e cada migração levou cerca de um ano. Tentamos criar um caso de uso mínimo para mostrar os benefícios da mudança para o GCP, mas isso não poderia ser uma coisa pequena para mostrar a verdadeira valor”, diz Charas.

Em segundo lugar foi o foco. Para Van Alteren, é realmente incrível o que pode ser feito com uma equipe de engenheiros focada em uma única coisa. Isso também ajudará os parceiros de negócios, que ficam mais felizes com um curto período de tempo sem desenvolvimento de produto em vez de um longo período de tempo.

A terceira foi a construção de uma equipe de migração dedicada para atuar como proteção para ajudá-los a saber o que precisam, transmitir experiências e aprendizados passados ​​e apenas os recursos de que precisam.

A última foi “sair do híbrido o mais rápido possível – todos esses trabalhos de cópia são caros e complexos”, disse Baer.

Resultados

Com a migração, os desenvolvedores estão com mais liberdade e maior escala, sem sacrificar a qualidade do serviço. “Qualidade de serviço é algo que medimos diligentemente e não houve degradação”, disse Van Alteren. “Os benefícios incluem nosso canal de entrega de eventos, que carrega os pagamentos de royalties para detentores de direitos. Quando mudamos para a nuvem, o pipeline transportava no pico de 800 mil eventos por segundo e agora carregam três milhões por segundo”, finaliza.

serviços de migração de dados

 

 

http://idgnow.com.br/ti-corporativa/2018/08/01/como-o-spotify-migrou-todo-seu-data-center-para-o-google-cloud/

Migração de Dados

MD

Com o implemento de novas tecnologias e o aumento da competitividade, é de se esperar que todas as organizações passem por um processo de evolução de seus sistemas de informação. Independente de ser motivada pelas deficiências do sistema atual ou pelos ganhos que o novo sistema trará, a preocupação em não perder informação é unânime.

É normal que os sistemas tenham estruturas de dados e regras distintas entre si e, por isso, o processo de migração pode ser bastante trabalhoso e o risco de haver uma restrição que impeça este processo de ser executado até o fim é muito grande. Esta diferença exige um conhecimento elevado na extração, transformação, transporte e carga dessas informações para que o processo ocorra sem problemas.

Utilizando ferramentas de última geração, fazemos a migração entre quaisquer bancos de dados do mercado, mesmo entre estruturas com modelagens distintas.

Vantagens

  • Redução de riscos.
  • Agilidade.
  • Confiabiliade.
  • Confidencialidade.
  • Hot Migration - com o sistema destino em funcionamento.
  • Sincronização de dados periódica entre sistemas.

Serviços

Em busca da informação gerencial estratégica, reunimos as técnicas mais modernas de software, processos e pessoas especializadas para conceber soluções completas de acordo com a sua necessidade. O objetivo é fazer você concentrar seus esforços naquilo que importa: o seu produto ou serviço!

A e-Setorial disponibiliza uma completa gama de serviços voltados para: