10 posições de TI mais difíceis de serem preenchidas

Dos profissionais de segurança cibernética aos engenheiros de DevOps, o relatório 2018 State of the CIO revela quais funções de TI continuam com demanda bem superior à oferta.

Melissa Person-Ashforth

CEO da Melissa International

"Encontrar e reter talentos de TI exige que as organizações pensem fora da caixa e se concentrem menos em encontrar a contratação perfeita e mais em manter os candidatos e funcionários atuais engajados, motivados e ansiosos para aprender novas habilidades. Para mim, claro, é sobre encontrar as habilidades certas, mas também saber que tratar bem meus funcionários, compensando-os e recompensando-os, significa que mantê-los felizes."

O relatório State of the do CIO de 2018 concluiu que, após anos de discórdia, a TI e as áreas de negócio estão finalmente aprendendo a trabalhar juntas para conduzir iniciativas estratégicas e atingir metas compartilhadas. Para fazer isso, é claro, as organizações precisam de talento em TI - mas alguns papéis são mais difíceis de preencher do que outros.

Os trabalhos relacionados à tecnologia de ponta, como Inteligência Artificial, Machine Learning e Realidade Virtual são tão especializa dos que os programas educacionais não conseguem acompanhar as demandas de pipeline, enquanto outros, como nuvem, desenvolvimento de aplicativos e software corporativo, simplesmente têm demanda excessiva.

Encontrar e reter talentos de TI exige que as organizações pensem fora da caixa e se concentrem menos em encontrar a contratação perfeita e mais em manter os candidatos e funcionários atuais engajados, motivados e ansiosos para aprender novas habilidades, diz Melissa Person-Ashforth, CEO da Melissa International.

"Para mim, claro, é sobre encontrar as habilidades certas, mas também saber que tratar bem meus funcionários, compensando-os e recompensando-os, significa que mantê-los felizes", diz Ashforth. “Todos fazendo um esforço conjunto para ir além, aprender mais e adquirir novas habilidades.”

A cultura também é uma peça importante do quebra-cabeça, diz Sherri Douville, CEO da Medigram, uma startup em rápido crescimento. Douville diz que a cultura é a chave para garantir que ela possa atrair, contratar e reter as pessoas certas. “Não temos um grande problema em contratar para funções de TI, mas nossa cultura é uma grande parte disso. Não estamos tentando transformar ou mudar uma cultura existente, o que pode dificultar nas empresas existentes e tradicionais”, diz ela.

O salário, é claro, ainda está no topo da lista de atratividade dos candidatos, e a contratação para qualquer função de TI exige acompanhar as taxas do mercado. Mas concentrar-se em benefícios, vantagens e cultura pode ajudá-lo a atrair, contratar e reter até mesmo para os papéis de TI mais difíceis de preencher.

Com base no relatório de 2018 sobre o estado do CIO, aqui estão os 10 principais empregos de TI mais difíceis para os empregadores preencherem, para que você saiba onde gastar esforços extras ao contratar.

1. Gerenciamento de segurança/risco

Mais de um terço (39%) dos entrevistados afirmam esperar dificuldades em encontrar as qualificações adequadas para preencher cargos de segurança e gerenciamento de risco, de acordo com nossa pesquisa. “As proteções de segurança cibernética devem ser sua prioridade número 1, sempre”, diz Person-Ashforth. “Muitas vezes vemos clientes evitando isso até que tenham uma brecha, o que é um erro”.

Além disso, conforme regulamentações como o GDPR entram em vigor, essa área, que já apresenta escassez de talentos, passa a ser uma das prioridades mais importantes para os departamentos de TI.

2. Inteligência de Negócios (BI) e Análise de Dados

Trinta e seis por cento dos entrevistados dizem que o preenchimento de funções de Business Intelligence e Analytics continua difícil. Saber como coletar, processar, analisar e atuar sobre as vastas quantidades de inteligência de negócios e dados que fluem para as empresas a cada ano é uma área estratégica crucial; e um grande diferencial competitivo em uma economia digital.

3. Integração na nuvem

Vinte e um por cento dos entrevistados dizem esperar dificuldades para preencher as funções de integração na nuvem. E à medida que mais organizações mudam de implantações locais para as implantações em nuvem, a necessidade de talentos de integração na nuvem continuará a crescer. Seja integrando com sistemas legados ou migrando entre provedores de nuvem, é um conjunto de habilidades críticas em TI.

4. Desenvolvimento de aplicativos

Seja no desenvolvimento de aplicativos para uso corporativo interno para promover objetivos de negócios ou no desenvolvimento de aplicativos para clientes externos, essa área é outra função crítica de TI que enfrenta escassez de talentos qualificados. Algumas organizações estão se voltando para o desenvolvimento de códigos para ajudar a aliviar a pressão; 20% dos entrevistados disseram que terão problemas para preencher as funções de desenvolvimento de aplicativos.

5. Software empresarial (ERP, CRM)

Para grandes empresas, as soluções de ERP e CRM são necessárias para garantir eficiência, permanecer dentro dos orçamentos e, é claro, comunicar-se efetivamente com os clientes, e 19% dos entrevistados dizem que terão dificuldade em preencher as funções de software corporativo. “Essa área é especialmente importante para nós, já que estamos usando o Salesforce para gerenciar e medir a eficácia das campanhas, além das plataformas de Marketing Digital de próxima geração”, diz Person-Ashworth.

6. Inteligência Artificial (IA)

Há um grande burburinho em torno da IA ​​ultimamente, especialmente em como ela pode ajudar as empresas a serem mais eficientes e as maneiras pelas quais ela afetará ou eliminará certas funções. Talento habilidoso para a construção, monitoramento e manutenção de IA estará em alta demanda à medida que esta tecnologia evoluir e amadurecer. Atualmente, 18% dos entrevistados antecipam que as funções de IA serão difíceis de preencher.

7. DevOps / Processos Ágeis

Hoje em dia, toda empresa é uma empresa de TI, e a grande maioria está envolvida em algum tipo de desenvolvimento de software para realizar seus negócios, seja sua única missão operacional ou apenas alavancando software para aprimorar sua linha principal de negócios. DevOps e Agile são metodologias que tornam mais fácil e rápido criar e implantar software, mantendo uma aderência próxima aos requisitos do cliente e do usuário final em todas as etapas de desenvolvimento. Dezessete por cento dos entrevistados dizem que será difícil preencher os papéis DevOps/Agile.

8. Internet das Coisas (IoT - dispositivos conectados, sensores)

Dezesseis por cento dos entrevistados dizem que terão dificuldade em preencher papéis relacionados à Internet das Coisas (IoT), incluindo papéis que envolvem a construção, programação, monitoramento e manutenção de dispositivos conectados, sensores e tudo o mais que envolve IoT.

9. Arquitetura Corporativa

As regras de transformação e disrupção digital no mundo da tecnologia atual e a arquitetura corporativa podem ajudar de forma proativa e holística na resposta de uma empresa a essas forças, identificando a estrutura e a estratégia existentes da empresa e planejando como direcioná-la melhor. Essas funções são críticas para qualquer empresa voltada para o futuro que queira permanecer líder de mercado, mas 16% dos entrevistados dizem que terão dificuldade para preencher as funções de arquitetura corporativa.

10. Serviços em nuvem

Seja público ou privado, os serviços em nuvem permitem acesso onipresente a pools de compartilhamento de recursos configuráveis ​​e personalizáveis ​​oferecidos aos clientes pela Internet. Com cada vez mais organizações acessando um ou mais serviços em nuvem, a demanda por talentos com experiência no fornecimento, solução de problemas e gerenciamento de serviços em nuvem está aumentando. Atualmente, 16% dos entrevistados dizem que terão dificuldades para preencher os papéis relacionados aos serviços na nuvem. Fonte:http://cio.com.br/gestao/

 

33 sites que farão de você um gênio

Nada mais precioso do que saber o caminho do conhecimento

Não é nenhuma novidade que a web é, virtualmente, um poço infinito de informação e conhecimento. Pode-se dizer, sem correr o risco de dar um chute muito longe, que praticamente todo o conteúdo produzido pela humanidade está, de uma forma ou de outra, convertido em dados digitais, acessíveis a quem quiser.

O problema é saber quais caminhos percorrer para chegar até esse conhecimento. Afinal, também não é novidade alguma que o efeito de ter tanta informação acessível de forma tão rápida e gritante é, justamente, a dificuldade de se separar o joio do trigo.

E, se tem uma coisa que aprendi nessa vida como produtor de conteúdo, é o valor de se saber quais caminhos percorrer nessa busca.

E, posso dizer, com convicção, que saber quais são os melhores canais para achar conhecimento, nessa época tão repleta de ruído, é ouro.

Esse texto encontrei no Medium, escrita por Thomas Oppong. Aqui embaixo vai a lista dele que traduzimos na íntegra. Todos os links estão em inglês, mas alguns sites possuem legendas e/ou versões dos cursos em português, como o Coursera ou o TED. 

Acho que vale muito complementar com bons links brasileiros e/ou em português nos comentários. E aí, você começa?

33 sites que farão de você um gênio

A web cada vez mais se torna um recurso poderoso que pode facilmente nos ajudar a aprender algo novo todos os dias. E os sites fantásticos listados abaixo são tudo que você precisa.

“Não tenho nenhum talento especial, só tenho paixão em minha curiosidade.” – Albert Einstein

Há uma boa chance que você seja capaz de aplicar pelo menos uma dessas ferramentas de aprendizado e acabar se tornando uma pessoa melhor do que era ano passado. Estes são alguns dos melhores sites que o deixarão mais inteligente dia após dia.

1. BBC — Future— O deixa mais inteligente, todos os dias.

2. 99U (YouTube) —  Insights aplicáveis sobre produtividade, organização e liderança para ajudar as pessoas criativas a levarem suas ideias adiante.

3. Youtube EDU — Vídeos educacionais que não têm gatinhos bonitinhos entrando em caixas  —  mas que despertam conhecimento.

4. WikiWand — Uma interface nova e modernosa para a Wikipédia.

5. The long read (The Guardian) — Ensaios, perfis e reportagens que vão fundo.

6. TED — Ótimos vídeos para abrir sua mente para quase qualquer tópico.

7. iTunes U — Aprendizado “para viagem” das melhores universidades do mundo.

8. InsightfulQuestions (subreddit) — Discussões intelectuais que não são necessariamente ligadas a um ou outro gênero.

9. Cerego — Ajuda a confeccionar planos de estudo personalizados baseados em seus pontos fortes e fracos para ajudar a reter o conhecimento.

10. University of the People— Universidade online gratuita que oferece educação superior em vários canais.

11. OpenSesame — Mercado para treinamento online, com agora mais de 22 mil cursos.

12. CreativeLive — Faça aulas gratuitas sobre criatividade com os maiores especialistas do mundo.

13. Coursera— Em parceria com algumas das melhores universidades estadunidenses, o Coursera oferece uma imensidão de cursos gratuitos.

14. University of reddit — o produto do intelectualismo livre é um santuário para o compartilhamento do conhecimento.

15. Quora — Você pergunta, a internet discute – com grandes especialistas e fascinantes trocas sobre qualquer coisa.

16. Digital Photography School— Uma mina de ouro de artigos sobre como melhorar suas habilidades fotográficas.

17. Umano –Explore a maior coleção de artigos de áudio feitos por pessoas reais. O Dropox comprou a Umano. Brain Pickings é um ótimo substituto para o número 17.

17.1. Brain Pickings — Posts longos e profundos sobre vida, arte, ciência, design, história, filosofia e muito mais.

18. Peer 2 Peer University ou P2PU, é um projeto educacional aberto que o ajuda a aprender no seu próprio ritmo.

19. MIT Open CourseWare é um catálogo de cursos online e recursos de aprendizado oferecidos pelo MIT.

20. Gibbon— A playlist definitiva para o aprendizado.

21. Investopedia — Aprenda tudo que precisa saber sobre o mundo do investimento, mercados e finanças pessoais.

22. Udacity oferece aulas interativas online e cursos de educação superior.

23. Mozilla Developer Network oferece documentação detalhada e recursos de aprendizado para programadores web.

24. Future learn — aproveite cursos online gratuitos das melhores universidades e de organizações de especialistas.

25. Google Scholar  — fornece uma busca na literatura acadêmica, em todas suas disciplinas e fontes, incluindo teses, livros, resumos e artigos.

26. Brain Pump — Um lugar para aprender algo novo todos os dias.

27. Mental Floss — Teste seu conhecimento com fatos, trívias, testes e jogos que desafiam seu cérebro.

28. Learnist — Aprenda com uma curadoria da web, e de vídeos e livros, feita por especialistas.

29. DataCamp — Tutoriais online sobre ciência dos dados e R (pacote de softwares estatísticos).

30. edX — Faça cursos online nas melhores universidades do mundo.

31. Highbrow— Receba cursos condensados por e-mail.

32. Coursmos — Faça um microcurso quando quiser, em qualquer dispositivo.

33. Platzi— Aulas ao vivo sobre design, marketing e programação.

Quais das suas ferramentas de aprendizado favoritas não estão nessa lista?

“O que seria mais importante para alguém que quer aprender do que se tornar proficiente em pensar bem?” Peter Worle

fonte

5 transformações que a internet causou ao mundo dos negócios

Qualquer pessoa com acesso a aparelhos eletrônicos inteligentes pode notar que estamos em uma época onde a internet está sendo introduzida em praticamente tudo que utilizamos. Há quem diga que estamos próximos de uma "internet dos seres humanos", não apenas "internet das coisas".

Abaixo listamos 5 mudanças que essa evolução causou ao mundo dos negócios.

1) Monitoramento

Empresas agora podem avaliar melhor como seus consumidores utilizam seus produtos através do monitoramento de diversas redes. Isso permite uma estimativa mais precisa do ciclo de vida de um produto. É quase como se as empresas pudessem monitorar equipamentos ou produtos em sua casa tão facilmente como se podem controlá-los em seus laboratórios.

2) Altas expectativas

Os consumidores sabem que estão fornecendo às empresas mais informações do que nunca. Isso resulta em clientes com grande expectativa de qualidade, valor e suporte contínuo.

3) Presença online

Independente do tamanho da sua empresa, seus clientes esperam encontra-lo online. Mesmo que vejam sua loja física na cidade, sem um site acessível através de uma pesquisa no Google, você está na contra mão. Você quer continuar competindo na economia do século 21? Capriche na identidade visual e confie em uma empresa de marketing digital para desenvolver conteúdo para seu site. Dê para sua empresa a imagem que ela merece.

4) Suporte e solução de problemas

Caso tenha um problema com seu produto/serviço, o cliente espera que você saiba lidar com isso, que forneça uma solução e que tenha uma equipe de técnicos de apoio 24 horas por dia. Sem um site projetado para resolver os problemas de seus clientes de forma rápida, você vai perder para a concorrência.

5) Análise de Big Data

As empresas atuais geram internamente uma grande variedade de dados e também têm acesso a uma infinidade de informações na grande rede, em publicações e em redes sociais. A análise desses dados tornou-se um dos principais desafios para quem busca se posicionar no mercado.

Isso significa que qualquer ação se tornou muito mais competitiva e eficaz no momento de envolver o público-alvo. Além disso, essas informações podem ser utilizadas para melhorar a experiência dos clientes: as empresas agora podem compreender exatamente o que eles estão procurando, quando e como preferem fazer realizar suas tarefas diárias.

 

A especialidade da e-Setorial é transformar dados em informações úteis para auxiliar a tomada de decisões. Saiba mais sobre as nossas Soluções de Apoio à Decisão clicando aqui.

9 truques psicológicos que fazem você gastar mais em restaurantes

MENUS SÃO PENSADOS PARA TOTAL LUCRO DOS RESTAURANTES

Quer gastar menos quando come fora? Ou quer, ao menos, saber a razão de gastar tanto? Veja nossa lista. #Analytics

Sair para jantar é uma das coisas mais comuns – e legais – do nosso cotidiano. Mas, com a mesma frequência que vamos ao nosso restaurante preferido, somos vítimas de truques e peripécias dos donos de restaurantes, que contratam consultores para o desenvolvimento de cardápios mais atraentes e que nos fazem gastar mais.  Lógico, isso não quer dizer que o quilo nosso de todo os dias contrate especialistas - mas algumas dessas práticas, usadas por grandes restaurantes, acabaram se popularizando e se tornando comuns até nos estabelecimentos mais simples.  

Veja abaixo a nossa lista e fique por dentro destes jogos psicológicos

1 – Eles não usam símbolos monetários

De acordo com o estudo realizado pela Cornell University School of Hotel Administration, menus com símbolos relacionados ao dólar vendem menos do que cardápios sem “$” ou algo do tipo. Para a pesquisa, assim que o consumidor nota o símbolo, a lembrança remete ao fato de gastar dinheiro e isso faz com que ele aja com mais cuidado. Então colocar valores só com os algarismos e sem o R$ no cardápio é uma forma de diminuir a cautela com que interpretamos o preço do prato.

2 – Números quebrados são importantes

Os designers de menus afirmam que valores terminados em 9, como 9,99, tendem a signifcar valor e não qualidade. E, segundo algumas pesquisas, valores quebrados podem ser considerados “amigáveis - mas disso você já sabe desde a moda das lojas de R$1,99.

3 – Descrever a comida aumenta o número de vendas

Um meno descritivo sempre anima o consumidor, afirma pesquisa da Cornell University. Especificamente, menus com pratos explicados de maneira até levemente romântica (sabor frutado, textura delicada e suave, etc. etc.) vendem 27% a mais do que menus comuns, diz o resultado do estudo da Universidade de Illinois.

Para o engenheiro de menus Greg Rapp , esse tipo de cardápio “traz o máximo da sensação ao consumidor, aumentando as chances do cliente se sentir satisfeito após a refeição”. Outro fator que também pesa para a formulação dos menus é o uso de grandes marcas dentro dessa descrição (sobremesa feita com sorvete X, por exemplo).

4 - Eles ligam comida à família

Consumidores gostam quando nomes os nomes dos estabelecimentos têm ligações familiares. Com esse tipo de conexão com o cliente, a meta dos restaurantes é apelar para a nostalgia. Então desconfie quando você encontrar a "Macarronada da Mama" ou o "Filé do Tio".

5 – Restaurantes usam termos étnicos para parecerem mais autênticos

De acordo com o experimento realizado pela Oxford, um termo étnico ou geográfico pode atrair a atenção do consumidor para  o tipo de comida daquele local, evocando sabores e texturas. 

6 – Itens extremamente caros chamam a atenção para os mais baratos

De acordo com Greg Rapp, restaurantes usam artigos muito caros para destacar os baratos. A ideia é fazer com que você não compre o caro, mas crie razões para levar o “baratinho”, que nem sempre é tão barato quanto parece ao lado de um valor mais elevado.  De acordo com um artigo da New York Magazine, a única função de um prato com valor de três dígitos no cardápio é dar a impressão de que todo o resto é uma grande barganha - mesmo que não seja.

7 – Restaurantes oferecem dois tamanhos de porções para um mesmo produto

Essa é uma estratégia chamada bracketing, em que o consumidor não possui ideia do tamanho da porção menor, mas assume que o valor vale a pena. Porém, a intenção do restaurante é a de que o cliente realmente compre a menor, para isso inflacionam a porção maior.

8 – Eles analisam os nossos padrões de leitura

Os restaurantes analisam padrões chamados scanpaths - pontos onde as pessoas fixam os olhos para a leitura.

De acordo com um estudo coreano, um terço das pessoas está suscetível a pedir o que lhe chamou a atenção de primeira. Por isso, restaurantes colocam os itens mais caros no canto superior esquerdo, já que é o caminho natural tomado pela nossa vista. 

Essa estratégia também se dá em relação aos valores dos pratos. Colocando um primeiro item com maior valor, todos os outros poderão parecer ótimos preços, como explicamos no item 7.

9 – Eles criam um clima para gastar

De acordo com um estudo da Universidade de Leicester, tocar música clássica em um restaurante pode encorajar o cliente a gastar mais. No entanto, música pop faz com que pessoas gastem 10% a menos.

fonte

Atualizações sobre o mundo Pentaho

Aquecimento

Para iniciar, cabe uma breve explanação sobre os acontecimentos que têm aquecido o mercado e a comunidade de empresas, usuários e desenvolvedores de soluções de apoio a decisão, que evitam desperdiçar verdadeiros latifúndios com licenças de uso de softwares antigos e criam suas próprias soluções, sob medida, e sem vínculos com quem quer que seja. Nem com vendedores de licenças, nem de servidores nem de consultorias, cursos ou treinamentos caríssimos e infinitos.

Muitos projetos ambiciosos da atualidade, em todo o mundo, só são considerados viáveis por conta das facilidades oferecidas pelo produto Pentaho, uma suíte (um conjunto de softwares integrados entre si) de código aberto, gratuito, que contempla todas as etapas de soluções de Business Analytics e/ou Business Intelligence, end to end. O Pentaho tem sido turbinado, digamos assim, pelas CTools, um conjunto de plugins criados por uma empresa portuguesa, a Webdetails. Em 2013 ela foi comprada pela Pentaho, empresa que mantém o produto com o mesmo nome, que conta com uma versão Enterprise, não gratuita e ainda mais completa que a versão gratuita, a Community. Ambas as versões passam a contar com várias das Ctools como parte integrante, juntamente com o Pentaho Marketplace, responsável pela instalação e gerenciamento de plugins.

Em 2015 a empresa Pentaho foi comprada por um dos maiores grupos do mundo, a Hitachi, um líder global em indústrias, infraestrutura e tecnologia, que tem, entre outros, foco no mercado de IoT, internet das coisas. Eles gerenciam entre outros empreendimentos, usinas nucleares, metrôs, ferrovias e têm uma gama de sensores bastante considerável. Todos estes sensores geram dados, que precisam ser analisados em tempo hábil para que façam algum sentido e ajudem na tomada de decisões, aplicáveis em praticamente todas as esferas da sociedade. Aí é que entra a suíte Pentaho.

Pentaho Day 2017 Brasil - Curitiba/PR

Pentaho Day 2017 - BrasilE ao falarmos de Pentaho, cabe aqui destacar, ainda com certo delay, que o Pentaho Day 2017 Brasil - Curitiba/PR foi fantástico, como sempre. Foram tantos aprendizados e tantos contatos estabelecidos, que vários projetos desde então foram executados aqui na e-Setorial e nos consumiram, mas não podemos deixar de enaltecer mais essa iniciativa da comunidade Pentaho Brasil, que ajuda profissionais e empresas de ramos de atividade e portes diferentes. A título de exemplo, nossos projetos este ano foram tão variados, que foram desde a análise de dados de Educação à Distância, do Enriquecimento de Dados de Pessoas Físicas e Jurídicas do Brasil, a análise de dados Hospitalares para Planos de Saúde, até um sistema completo para gestão de risco em Usinas Hidrelétricas e Barragens. Todos desenvolvidos utilizando o Pentaho em sua versão gratuita, atingindo excelentes resultados.

O maior evento da comunidade Pentaho do Mundo, contou com mais de 400 participantes e teve Palestras, Cases e Minicursos ministrados por algumas das maiores referências sobre o tema, que aconteceu na Universidade Positivo, em Curitiba/PR, no Brasil, nos dias 11 e 12 de maio.

O destaque principal ficou para apresentação de Matt Casters sobre o seu fantástico Web Spoon, que é o Pentaho Data Integration rodando inteiramente na web, facilitando ainda mais o desenvolvimento e manutenção das soluções.

Muito do material produzido e apresentado no evento está disponível no site do evento, inclusive o minicurso oferecido por Eduardo Carvalho, da e-Setorial, com o título "Design Patterns para Tuning Pentaho com Ctools".

Espaço para Tietagem

Eduardo Alves de Carvalho

Analista Sênior de BI na e-Setorial

"Não são todos os dias que encontramos tantos profissionais que admiramos de uma só vez. Não poderia deixar de registrar a confraternização com o norte americano Matt Casters, à esquerda, criador do Pentaho Data Integration e o português Pedro Alves, ao centro, o Criador das CTools, amigo e meu instrutor por diversas oportunidades, desde 2012. E isso acontecendo em minha cidade natal, Curitiba. Pentaho Day Brasil 2017"


Capricho da organização

A organização do evento foi impecável. Deixamos o agradecimento ao amigo Marcio Junior Vieira, da Ambiente Livre, responsável por mais esta edição do evento.

Hitachi Vantara

Hitachi VantaraEm 18 de setembro de 2017 a Hitachi anunciou a formação da Hitachi Vantara, uma empresa cujo objetivo é ajudar as organizações a prosperar nos tempos incertos e turbulentos de hoje e se preparar para o futuro. Esta nova empresa unifica a missão e as operações da Pentaho, Hitachi Data Systems e Hitachi Insight Group em um único negócio, a Hitachi Vantara. Juntas, dão aos líderes empresariais uma vantagem para encontrar e usar o valor em seus dados, inovar inteligentemente e atingir os resultados que são importantes para as empresas e a sociedade.

Apresentando a Vantara: uma combinação de TI, tecnologia operacional (OT) e expertise de domínio. Com o software de integração e análise de dados Pentaho, a Vantara oferece às organizações o poder de capturar e usar dados de forma eficiente a partir da "borda", onde os dados são movidos de forma fluida por sensores e dispositivos fora dos internos do negócio do dia-a-dia e combinam estes dados de sensores com recursos de dados corporativos mais tradicionais para fornecer um alto nível de contexto e previsões inteligentes que levam a resultados comerciais reais.

O que dizem os envolvidos

Donna Prlich

CHIEF PRODUCT OFFICER

A integração e análise de dados Pentaho continuará a evoluir, e a Hitachi Vantara irá investir para se manter à frente dos futuros desenvolvimentos em grandes dados, IoT e aprendizagem de máquinas. Sabemos o que nossos clientes precisam e com o poder e os recursos da Hitachi, podemos levá-los até mais rápido.

Pedro Alves

SVP Community / Product Designer for Pentaho at Hitachi Vantara

Não há planos de mudar a estratégia de código aberto ou parar de fornecer uma edição CE para a nossa comunidade! Essa mudança pode acontecer no futuro? Oh, absolutamente sim! Assim como poderia ter mudado no passado. E quando poderia mudar? Quando ele deixa de fazer sentido; quando deixa de ser mutuamente benéfico. E naquele dia, serei o primeiro a sugerir uma mudança em nosso modelo. Se a opensource nos trouxe aqui em primeiro lugar - mudaremos realmente isso agora que as coisas estão se aquecendo? Nós somos loucos, não estúpidos;)

Em resumo, foi criada uma nova empresa com uma estrutura muito maior, chamada Hitachi Vantara, que continuará a trabalhar com o produto Pentaho nas suas versões Enterprise, paga, e Community, gratuita.

Pentaho 8.0

Hitachi VantaraA comunidade está em polvorosa e no evento mundial da Pentaho, o PentahoWorld 2017, que aconteceu na semana passada, entre 25 e 27 de outubro em Orlando na Florida.

Entre todos os fantásticos cases apresentados, surgiu mais uma novidade bombástica. Foi anunciado a versão 8 do Pentaho, já para o mês que vem.

  • Plataforma e Escalabilidade
    • Worker nodes
    • Novo tema
  • Data Integration
    • Suporte de streaming!
    • Execute configurações para jobs
    • Filtros no Data Explorer
    • Nova experiência de Abrir / Salvar
  • Big Data Vendemos Inteligência Empresarial
    • Melhorias em AEL
    • Formatos de arquivo para Big Data - Avro e Parquet
    • Segurança em Big Data- Suporte para Knox
    • Melhorias de VFS para Clusters de Hadoop
  • Outras
    • Ops Mart para Oracle, MySQL, SQL Server
    • Melhorias na segurança da senha da plataforma
    • Mavenization PDI
    • Alterações de documentação em help.pentaho.com
    • Remoção de recursos:
      • Analisador em MongoDB
      • Plug-in móvel (desativado em 7.1)

Conclusão

Hitachi Vantara Com investimentos que só uma grande corporação pode fazer, o produto tem tudo para se disseminar ainda mais e ganhar espaço dos grandes players. A equipe de desenvolvimento não para, ao contrário dos concorrentes que só pensam em vender licenças de uso de suas ferramentas. Cada vez mais o pentaho traz segurança, facilidade em desenvolver e manter e o melhor de tudo, com funcionalidades que surpreende até aos mais exigentes. É verdade que ainda são necessários conhecimentos em Java Script e MDX para a implementação de dashboards mais específicos, entretanto aplicações simples, mas e poderosas, podem ser criadas em minutos, sem escrever uma linha de código. O caminho é este.

E que venha o Pentaho 8.0!

Links Úteis

E para onde foram os fóruns, wikis e comunidades? Abaixo separamos alguns links importantes, que o deixarão com mais segurança: 

# Dicas
1 Ctools
2 CCC Playground - Documentação dos gráficos Ctools
3 Alguns dashboards de demonstração
4 Pentaho Community website
5 Grupo de usuários Brasil
6 Forum mundial da comunidade
7 Blog Pedro Alves
8 Desenvolvimento, treinamento e consultoria especializada em Pentaho

Referências

CIENTISTA DE DADOS – POR ONDE COMEÇAR EM 8 PASSOS

Ansioso por desbravar o universo da Ciência de Dados e não sabe por onde começar? Nós ajudaremos você. Preparamos um guia que vai ajuda-lo a compreender o que faz um Cientista de Dados e como iniciar sua preparação! Confira.

McKinsey Global Institute

Big Data Report 2015

"Até 2018, haverá um deficit de 140 a 190 mil profissinais com habilidades em análise de dados e mais de 1,5 milhão de gerentes e analistas que saibam usar Big Data de forma efetiva para tomada de decisões."

Vamos começar definindo o que é um Cientista de Dados:

Cientistas de Dados são uma nova geração de especialistas analíticos que têm as habilidades técnicas para resolver problemas complexos – e a curiosidade de explorar quais são os problemas que precisam ser resolvidos.

Eles também são um sinal dos tempos modernos. Cientistas de dados não estavam no radar há uma década, mas sua popularidade repentina reflete como as empresas agora pensam sobre Big Data. Essa incrível massa de informações não estruturadas já não pode mais ser ignorada e esquecida. É uma mina de ouro virtual que ajuda a aumentar receitas – contanto que haja alguém que escave e desenterre insights empresariais que ninguém havia pensado em procurar. Entra em cena o Cientista de Dados.

Para a comunidade em geral, um Cientista de Dados é um desses “Magos de Dados”, que pode adquirir massas de dados de diversas fontes e então limpar, tratar, organizar e preparar os dados; e, em seguida, explorar as suas habilidades em Matemática, Estatística e Machine Learning para descobrir insights ocultos de negócios e gerar inteligência.

Os dados utilizados por um Cientista de Dados podem ser tanto estruturados (bancos de dados transacionais de sistemas ERP ou CRM, por exemplo) e não estruturados (e-mails, imagens, vídeos ou dados de redes sociais). O Cientista de Dados cria algoritmos para extrair insights destes dados. Em seguida, cabe ao Cientista de Dados, apresentar estes dados, de forma que os tomadores de decisão possam utilizar o resultado da análise ao definir as estratégias empresariais ou mesmo para criar novos produtos ou serviços baseados em dados.

De acordo com Anjul Bhambhri, ex Vice Presidente de Big Data da IBM e atual Vice Presidente da Adobe, o Cientista de Dados é o profissional capaz de trazer a mudança para uma organização através da análise de diversas fontes de dados. Anjul Bhambhri escreve:

“Um Cientista de Dados representa uma evolução do papel de Analista de Negócios ou Analista de Dados. Estes profissionais possuem uma base sólida normalmente em ciência da computação, aplicações, modelagem, estatísticas, análises e matemática. O que define o Cientista de Dados é a forte visão de negócios, juntamente com a capacidade de comunicar os resultados, tanto para os líderes de negócios quanto para seus pares, de uma forma que influencie como uma organização posiciona-se diante dos desafios do mercado”.

Não existe uma formação que prepare Cientistas de Dados, pois esta é uma profissão relativamente nova. Tem havido muito debate sobre isso no ambiente acadêmico (principalmente nos EUA), pois o mercado precisa de profissionais agora e o tempo de preparação de um profissional como estas habilidades, pode levar algum tempo. E por isso formações técnicas em determinadas áreas, podem ajudar a preparar estes profissionais.

Com tantas informações sobre a profissão de Cientista de Dados e seu crescimento exponencial nos últimos anos, é fácil se perder diante de tantos artigos e materiais com fórmulas mágicas sobre qual caminho seguir. Vou fazer um alerta: não existe caminho fácil para se tornar um Cientista de Dados! É preciso estudar, aprender diferentes técnicas e ter conhecimento interdisciplinar. Por esse motivo, os Cientistas de Dados são bem remunerados e difíceis de encontrar no mercado.

Abaixo, os 8 passos que consideramos fundamentais para a preparação de um Cientista de Dados:

Passo 1: Faça uma auto avaliação

Este é o primeiro passo e acredite, é fundamental. Você, como profissional, precisa avaliar o momento atual da sua carreira e como pretende estar em 5 ou 10 anos. Se pretende seguir uma carreira em Analytics, seja como Cientista de Dados, Engenheiro de Dados ou Analista, precisa compreender quais são suas habilidades atuais, onde pretende chegar, avaliar os gaps e traçar um plano de ação.

Como não existe uma formação acadêmica específica para se tornar um Cientista de Dados, este profissional pode vir de áreas como Estatística ou Ciência da Computação, sendo comum encontrar profissionais de outras áreas atuando como Cientistas de Dados (Marketing, Economia, Ciências Sociais, etc..). Mas independente da área de formação, algumas características serão comuns a todos os profissionais que trabalham com Ciência de Dados:

Programação – Conhecimento de programação é necessário. Linguagens de programação como R, Python, Julia, Scala, Java são parte do arsenal de ferramentas utilizadas em Data Science. Mesmo outros pacotes de análise de dados, como SAS, Matlab, Octave, SPSS e até o IBM Watson Analytics, requerem conhecimento em programação, para se extrair o melhor de cada ferramenta. É a habilidade de programação, que permite ao Cientista de Dados colocar em prática sua criatividade e extrair dos dados respostas para perguntas que ainda não foram feitas. Se você já tiver conhecimento em programação, isso será uma vantagem. Caso não tenha experiência em programação, mas tenha uma boa noção dos conceitos envolvidos em programação de computadores, isso vai ajudar muito. Avalie de forma clara seu nível de conhecimento em programação.

Pensamento Lógico – Cientistas de Dados usam o pensamento lógico para fazer análises. Programação requer lógica. Se você já possui esta habilidade, isso vai acelerar seu aprendizado em Data Science.

Habilidade com Números – Matemática é a base da Ciência de Dados. Programação de computadores, envolve habilidade com números. Os algoritmos de Machine Learning, são baseados em conceitos matemáticos. A Estatística, parte fundamental da Ciência de Dados, requer habilidade com números. Avalie suas características e na sua auto avaliação, verifique se esse item será um problema ou não.

Conhecimento em Banco de Dados – Em diversas fases do processo de análise de dados, interações com bancos de dados serão necessárias. Bancos de sados relacionais, Data Warehouses, bancos de dados NoSQL, Hadoop, linguagem SQL. Todas estas tecnologias estão diretamente ligadas ao trabalho do Cientista de Dados e pelo menos sua compreensão será um ponto que poderá fazer diferença. Avalie se você compreende o conceito de banco de dados, entende as diferenças entre bancos de dados relacionais e NoSQL e como utilizar linguagem SQL para consultas.

A esta altura, talvez você já esteja se perguntando: como você pretende que eu aprenda tudo isso? Aqui entra um dos conceitos mal interpretados sobre a profissão de Cientista de Dados. Acredita-se que este profissional precisa conhecer todas as ferramentas. Isso não é verdade e nem mesmo necessário. Escolha suas ferramentas e se especialize nelas. Por exemplo: conhecimento em linguagem R e Hadoop, permitirá fazer análises de grandes volumes de dados (Big Data). Você não precisa conhecer todas as linguagens de programação, bem como não tem que conhecer todos os bancos de dados. O mais importante é o pensamento lógico, esse sim indispensável (e esta habilidade talvez você já tenha). A tecnologia oferece ferramentas e nenhuma delas resolve sozinha 100% dos problemas, pois todas possuem suas limitações.

Ao fazer esta auto avaliação, será possível compreender seu nível atual de conhecimento e começar a pensar no plano de ação! 

Passo 2: Prepare seu computador

Surpreso com este passo? Esta é a etapa onde você prepara seu ambiente de testes e não deve ser subestimada. Pode ser frustrante durante seu processo e aprendizagem, não ter o equipamento ideal para instalar softwares ou executar operações que requerem poder computacional.

Ciência dados é computacionalmente intensa (isso não deve ser uma novidade para você!). Portanto, você precisa de um computador que permita processar seus scripts e aprender sobre análise de dados. Além disso, você vai precisar instalar ferramentas, interpretadores, pacotes office, etc…Para trabalhar com Ciência de Dados, um computador com 8GB de memória RAM, com um processador intel i5/i7 ou equivalente é a nossa recomendação. Naturalmente, quanto maior a capacidade do seu computador, melhor! É possível também utilizar serviços como o Cloud9 ou Amazon AWS e montar um ambiente virtual de trabalho.

Sistema Operacional – A decisão por qual sistema operacional utilizar é bastante pessoal e qualquer um dos 3 principais sistemas operacionais (Windows, Mac OS e Linux) vai atender as suas necessidades. De qualquer forma, você poderá instalar máquinas virtuais com outro sistema operacional. Boa parte do framework de Data Science e Big Data, foi construída sobre plataforma Unix. Para um servidor Hadoop ou Spark, um servidor Linux é a melhor recomendação. Já para a parte de apresentação de dados, Microsoft Office e outras ferramentas de visualização podem depender de um sistema Windows. Não há uma regra aqui, mas para usuários mais avançados, um sistema Unix é recomendado. Para aqueles que se sentem mais confortáveis com o Windows, não há problema algum. Utilize o Windows como seu sistema operacional e, se necessário, crie uma máquina virtual com Linux, se quiser processar arquivos com Hadoop e/ou Spark ou realizar outros testes. Os principais fornecedores do Hadoop (Cloudera, Hortownworks e MapR) fornecem gratuitamente máquinas virtuais com Linux e Hadoop, prontas para uso em poucos cliques. Já o Microsoft Azure Machine Learning pode ser utilizado online, por exemplo. É possível também fazer o download o SAS University Edition, uma máquina virtual com Linux e SAS, que em poucos segundos permite você utilizar o SAS (uma das principais soluções de Analytics atualmente) para seu aprendizado e totalmente gratuito.

Softwares – Independente da linguagem de programação que você escolher, você vai precisar instalar o interpretador e uma IDE. Se a sua escolha for pelo R, por exemplo, além de instalar a linguagem, você poderá instalar o R Studio. O mesmo vale para outras linguagens de programação. É possível criar seus scripts de Data Science 100% online, via browser, usando o Jupyter Notebook. Mas nem sempre você pode estar online e ter suas ferramentas instaladas localmente vai trazer uma série de vantagens. Além disso, considere instalar:

– Editores de texto: Sublime, Atom, Notepad++
– Software para Máquinas Virtuais: VirtualBox
– Git e Github: para criar seu portfólio de projetos em Data Science
– Suite Office: Microsoft Office, Libre Office

Com exceção do Microsoft Office, todas as demais ferramentas são gratuitas.

Passo 3: Estatística e Matemática

Conhecimentos de Estatística e Matemática fazem parte do pacote essencial para quem pretende trabalhar como Cientista de Dados. Modelos estatísticos e algoritmos de Machine Learning, dependem de conhecimentos em regressão linear, regressão múltipla, clustering, Álgebra Linear, etc… Você precisa ser especialista em Estatística ou Matemática ou mesmo ter feito uma graduação nestas áreas? A resposta é não. Apesar dessas áreas permitirem uma compreensão mais abrangente, é possível aprender estes conceitos e aplica-los, ao longo da sua jornada de aprendizagem em Data Science. Você não precisa aprender todos os tópicos relacionados à Estatística ou Matemática.

Existem muitas formas de aprender os conceitos de Estatística e Matemática aplicada e isso leva tempo. Para qualquer aspirante a Cientista de Dados a recomendação é aprender Estatísticas codificando, de preferência em Python ou R, de forma que você possa aplicar imediatamente um conceito aprendido. Nada substitui uma graduação em Estatística ou Matemática claro, mas você pode aprender os conceitos que serão usados no seu dia a dia em Data Science, aplicando estes conceitos através de uma linguagem de programação. Data Science é uma área multi-disciplinar.

No fim deste artigo, você encontra alguns recursos indicados por nosso time de especialistas!Analytics

Passo 4: Big Data

Big Data é a matéria prima da Ciência de Dados. A profissão de Cientista de Dados, surgiu da necessidade de criar novos métodos de análise do imenso volume de dados que vem crescendo exponencialmente. Técnicas analíticas já existem há muitas décadas (talvez há séculos), mas nunca na história da humanidade, gerou-se tantos dados como atualmente. Novas formas de coleta, armazenamento e análise de dados são necessárias e o Big Data está revolucionando o mundo atual, pois com tantos dados a nossa disposição, podemos tomar decisões em tempo real e isso gera impacto direto na vida de todos nós.

O Cientista de Dados vai consumir Big Data, ou seja, vai utilizar o Big Data como matéria prima, aplicar diversas técnicas e colher insights. Mas a responsabilidade por coletar e armazenar os dados normalmente é do Engenheiro de Dados. Criação de clusters Hadoop, streaming de dados com Spark, integração entre diferentes fontes de dados são todas atribuições novas e normalmente exercidas por Engenheiros de Dados. Mas é importante que o Cientista de Dados conheça bem como funciona a infraestrutura que armazena os dados que serão analisados, pois isso pode fazer a diferença na hora de analisar 1 trilhão de registros, por exemplo.

Hadoop – O Hadoop está se tornando o coração da infraestrutura de Big Data, o que vai revolucionar o sistema tradicional de armazenamento em bancos de dados como conhecemos hoje. Além de gratuito, o Hadoop foi criado para ser usado em hardware de baixo custo, uma combinação essencial para empresas que buscam reduzir seus custos de infraestrutura de TI e ainda capitalizar os benefícios do Big Data.

Spark – Spark é um projeto open source, mantido por uma comunidade de desenvolvedores que foi criado em 2009 na Universidade da Califórnia, Berkeley. O Spark foi concebido com o principal objetivo de ser veloz, tanto no processamento de queries quanto de algoritmos, além de processamento em memória e eficiente recuperação de falha. É atualmente um dos assuntos mais quentes em Data Science e vem ganhando muita popularidade.

Bancos de Dados NoSQL – Bancos de Dados tradicionais RDBMS (Relational Database Management Systems) são foram projetados para tratar grandes quantidades de dados (Big Data). Bancos de Dados tradicionais foram projetados somente para tratar conjuntos de dados que possam ser armazenados em linhas e colunas e portanto, possam ser consultados através do uso de queries utilizando linguagem SQL (Structured Query Language). Bancos de Dados relacionais não são capazes de tratar dados não-estruturados ou semi-estruturados. Ou seja, Bancos de Dados relacionais simplesmente não possuem funcionalidades necessárias para atender os requisitos do Big Data, dados gerados em grande volume e alta velocidade. Esta é a lacuna preenchida por Bancos de Dados NoSQL, como o MongoDB por exemplo. Bancos de Dados NoSQL, são bancos de dados distribuídos e não-relacionais, que foram projetados para atender os requerimentos deste novo mundo de dados em que vivemos.

Bancos de Dados Relacionais e Data Warehouses – Nas últimas décadas, todos os dados corporativos tem sido armazenados em bancos de dados relacionais e soluções de Business Intelligence usaram DataWarehouses para criar soluções analíticas. Estes dados estruturados, serão fonte de dados para Data Science e daí a importância do conhecimento em linguagem SQL, a linguagem padrão para consultar estes tipos de dados.

Como Cientista de Dados, você precisa ser especialista em todas as tecnologias? Não. Mas parte do trabalho do Cientista de Dados, será coletar dados do HDFS (Hadoop File system), criar RDD’s no Spark, aplicar algoritmos de Machine Learning em streaming de dados, cruzar dados não estruturados coletados de redes sociais, com bancos de dados de CRM, etc…portanto, o Cientista de Dados precisa estar confortável com a forma como os dados estão armazenados e extrair da tecnologia o melhor que ela pode oferecer.

Passo 5: Linguagem de Programação e Machine Learning

Existem diversas ferramentas de análise e o número de soluções não para de crescer. Mas a recomendação para quem está iniciando, é obter o conhecimento básico, antes de tentar usar ferramentas de análise ou pacotes comerciais, de forma a conseguir extrair o melhor destas ferramentas. Algumas linguagens de programação se tornaram ícones em Ciência de Dados, como Python e R, por diversas razões: são gratuitas, contam com uma comunidade ativa e crescente, já atravessaram o período de maturação, são amplamente utilizadas, tanto no meio acadêmico quanto no meio empresarial e se especializaram em Data Science.

Python – É uma linguagem de uso geral, que tem recebido nos últimos anos, mais e mais módulos e pacotes para Data Science como Pandas, Matplotlib, Scikit-Learn e Stats Models. Python é mais fácil de aprender em comparação a outras linguagens, tem uma comunidade ativa, muita documentação disponível (inclusive em português) e pode ser usada para outras atividades além de Data Science.

Linguagem R – Linguagem estatística, que existe há mais de 30 anos. Sua capacidade de processar estatísticas de grandes volumes de dados e criar gráficos sofisticados, fizeram com que gigantes do mercado de tecnologia, como Oracle e Microsoft, adotassem R como linguagem padrão para análises estatísticas. Um dos problemas mais comuns que as pessoas enfrentam em aprender R é a falta de um guia. As pessoas não sabem, por onde começar, como proceder e nem que caminho seguir. Há uma sobrecarga de bons recursos gratuitos disponíveis na Internet e isso torna o caminho de aprendizado muito mais tortuoso.

Por exemplo: a plataforma de Aprendizado de Máquina da Microsoft (Microsoft Azure Machine Learning), possui uma série de módulos Python e R, prontos para uso. O conhecimento de pelo menos uma destas linguagens é fundamental.

Outras linguagens como Julia, Scala e Java também são muito utilizadas em Data Science, mas se estiver começando, opte pelas linguagens R ou Python. Estas linguagens vão permitir uma base sólida, fazendo com o que o profissional avance para soluções comerciais como SAS, Microsoft Azure Machine Learning, Oracle Advanced Analytics, Microstrategy, SAP Predictive Analytics, Tibco Analytics, entre outros.

Se você já possui conhecimento em Matlab, Octave, Stata ou Minitab, saiba que seu conhecimento já pode ser utilizado em Data Science.

Uma dica importante: não tente aprender tudo! Selecione 2 ou 3 ferramentas e se dedique ao aprendizado delas de forma detalhada.

E claro, não dá para falar em Data Science, sem falar em Machine Learning.

Machine Learning (ou Aprendizado de Máquina) é uma das tecnologias atuais mais fascinantes. Você provavelmente usa algoritmos de aprendizado várias vezes por dia sem saber. Sempre que você usa um site de busca como “Google” ou “Bing“, uma das razões para funcionarem tão bem é um algoritmo de aprendizado. Um algoritmo implementado pelo “Google” aprendeu a classificar páginas web. Toda vez que você usa o aplicativo para “marcar” pessoas nas fotos, do “Facebook” e ele reconhece as fotos de seus amigos, isto também é Machine Learning. Toda vez que o filtro de spam do seu email filtra toneladas de mensagens indesejadas, isto também é um algoritmo de aprendizado.

Algumas razões para o crescimento Machine Learning são o crescimento da web e da automação. Isso significa que temos conjuntos de dados maiores do que nunca. Por exemplo, muitas empresas estão coletando dados de clicks na web, também chamados dados de “clickstream”, e estão criando algoritmos para minerar esses dados e gerar sistemas de recomendação, que “aprendem” sobre os usuários e oferecem produtos que muito provavelmente eles estão buscando. O Netflix é um dos exemplos mais bem sucedidos de aplicação de Machine Learning. Cada vez que você assiste um filme ou faz uma avaliação, o sistema “aprende” seu gosto e passa a oferecer filmes de forma personalizada para cada usuário.

Existem diversos algoritmos de aprendizagem de máquina, dependendo se a aprendizagem é supervisionada ou não supervisionada, tais como: Linear Regression, Ordinary Least Squares Regression (OLSR), Logistic Regression, Classification and Regression Tree (CART), Naive Bayes, Gaussian Naive Bayes, k-Nearest Neighbour (kNN), k-Means, Bootstrapped Aggregation (Bagging), Natural Language Processing (NLP), Principal Component Analysis (PCA), Principal Component Regression (PCR), Back-Propagation e muito mais.

Cada algoritmo será ideal para determinado tipo de dado e de acordo com a análise pretendida. Não há necessidade de aprender todos os algoritmos. Mas é importante compreender os conceitos e como implementa-los. Daí a importância da Matemática e da Estatística. Confira as dicas no fim do artigo.

Passo 6: Conhecimento de Negócios

Qual o objetivo da sua análise? Para que você vai coletar montanhas de dados e aplicar modelos de análise? Que problema você pretende resolver, analisando dados? O principal objetivo da Ciência de Dados, é resolver problemas. As empresas não vão iniciar um projeto de Data Science, se isso não for relevante para o negócio. Portanto, o Cientista de Dados deve estar familiarizado com a área de negócio para a qual ele está iniciando um projeto, utilizando Data Science.

Normalmente o mercado interpreta de forma equivocada este requerimento para a profissão de Cientista de Dados, fazendo crer que o profissional precisa ser expert em determinado segmento de negócio. Mas aqui vale fazer algumas considerações importantes. Primeiro, os profissionais de Business Intelligence sempre tiverem este requerimento, conhecer bem uma área de negócio, a fim de coletar os KPI’s (indicadores) e com isso prover soluções BI que atendessem as necessidades do cliente. Isso não mudou, o que mudou foi a forma como a análise é feita, uma vez que o Big Data entrou na equação. Em segundo, dada a amplitude de projetos de Data Science e Big Data, dificilmente haverá um único profissional atuando e sim uma equipe de Data Science, normalmente liderada pelo Cientista de Dados. E no Data Science Team, diferentes perfis irão atuar, como por exemplo especialistas em segmentos de negócio.

A dica aqui é simples. Procure compreender a área de negócio na qual você pretende atuar como Cientista de Dados. Se vai trabalhar em uma mineradora por exemplo, quais são so principais indicadores? De onde vem os dados? Que problemas a empresa precisa resolver? Que tipos de dados devem ser analisados e correlacionados? Como técnicas de Machine Learning podem ser empregadas para melhorar o faturamento da empresa? Como a análise de dados permite oferecer um serviço melhor aos clientes? Cada área de negócio tem as suas particularidades e uma compreensão ampla disso, vai permitir um trabalho que realmente gere valor.

Passo 7: Técnicas de Apresentação e Visualização de Dados

Com a massiva quantidade de dados aumentando a cada dia, um grande desafio vem surgindo para aqueles responsáveis por analisar, sumarizar e apresentar os dados: fazer com que a informação gerada, possa ser facilmente compreendida.

E uma das tarefas mais importantes do trabalho do Cientista de Dados, é ser capaz de transmitir tudo aquilo que os dados querem dizer. E às vezes os dados querem dizer coisas diferentes, para públicos diferentes. Pode parecer fácil em princípio. Hoje temos à nossa disposição os mais variados recursos para apresentação e exatamente aí que está o desafio. Nunca foi tão fácil gerar tabelas e gráficos, com diferentes estruturas, formatos, tamanhos, cores e fontes. Os gráficos estão deixando de ser gráficos e se tornando infográficos. Ter um volume cada vez maior de dados à nossa disposição, não torna mais fácil a apresentação da informação gerada. Pelo contrário, torna a tarefa mais complicada. Quase uma arte.

Uma das tarefas do Cientista de Dados, é apresentar seus resultados. Ninguém melhor que o profissional que faz a análise, desde a coleta, limpeza e armazenamento dos dados, até a aplicação de modelos estatísticos, para explicar seus resultados. Uma visualização efetiva de dados, pode ser a diferença entre sucesso e falha nas decisões de negócio. Particularmente, eu acredito que em breve, a capacidade de comunicar e contar as histórias dos dados, será uma das características mais valorizadas e buscadas pelas empresas. Técnicas de apresentação é um dos skills que fará a diferença na hora de contratar um Cientista de Dados, à medida que o conhecimento técnico estiver difundido.

O Cientista de Dados deve ser um contador de histórias e deve ser capaz de contar a mesma história de maneiras diferentes. O profissional que for capaz de unir as habilidades técnicas necessárias para análise de dados, com a capacidade de contar histórias, será um profissional único. Este é o verdadeiro conceito de unicórnio, atribuído aos Cientistas de Dados.

Diversas ferramentas possuem funcionalidades avançadas para visualização de dados: Pentaho, Tableau, QlikView, Microsoft Excel, Microsoft Power BI, Microstrategy, Weka, NetworkX, Gephi, bibliotecas Java Script (D3.js, Chart.js, Dygraphs), além de visualizações alto nível que podem ser feitas em Python ou R.

É importante não apenas estar familiarizado com uma ou mais ferramentas para visualizar dados, mas também os princípios por trás da codificação visual de dados e comunicação de informações.

Passo 8: Pratique!!

Não há outra forma de aprender qualquer que seja o assunto. É preciso praticar, testar, experimentar, cometer erros, aprender com eles, testar novamente, interagir com a comunidade.

Ufa. Se você chegou até aqui, parabéns! Agora você compreende melhor porque o Cientista de Dados é uma profissão em ascensão e porque sua remuneração está entre as maiores em qualquer pesquisa que se faça? Mas ainda não terminamos, continue sua leitura:

Erros que devem ser evitados ao longo da caminhada:

1- Achar que o aprendizado é fácil e rápido – Em nenhuma profissão, o aprendizado é rápido e fácil. Adquirir conhecimento e experiência requer tempo, esforço, investimento e bastante dedicação. Não caia nesta armadilha. Comece sua preparação hoje mesmo, mas esteja ciente que adquirir conhecimento leva tempo.

2- Aprender muitos conceitos ao mesmo tempo – Este é o erro mais comum. Por se tratar de uma área interdisciplinar, há normalmente a tendência em querer aprender muita coisa ao mesmo tempo. Não foque em quantidade e sim qualidade. Aprenda um conceito, consolide, pratique e só então avance para outra área de estudo. O começo será mais difícil, mas à medida que aprende e adquire experiência, o aprendizado de novas ferramentas fica mais fácil.

3- Começar por problemas muito complexos – A solução de problemas mais complexos em Data Science, requer tempo e experiência. Não tente fazer isso no começo da sua jornada.

4- Focar apenas na programação – Data Science não é apenas programação. Outros conceitos são tão importantes quanto. Estatística é importante. Visualização de dados e apresentação são importantes. Tenha seu foco em outras áreas e não apenas programação.

E como estudar?

Antes de investir em formação analítica, tome essas medidas para ter certeza de obter o valor real do seu investimento.

1. Defina suas metas. Como diz o ditado: “Quem não sabe para onde vai, qualquer caminho serve!”. Você fez a auto avaliação sugerida lá no início do texto? Qual foi o resultado? Quais são as áreas que você precisa se dedicar? Como será sua disponibilidade? Qual seu objetivo? Sei que são muitas perguntas, mas elas precisam ser respondidas, antes de definir sua trilha de aprendizagem.

2. Participe de comunidades. Cientistas de Dados costumam se encontrar em Meetups e em alguns blogs (links abaixo). Estas comunidades vão permitir a troca de experiências e isso é muito valioso.

3. Experimente. Enquanto você não executar um algoritmo de aprendizado de máquina em um dataset com milhões de registros, não criar um algoritmo de limpeza e transformação de dados, não coletar streaming de dados de redes sociais, você não vai compreender como as coisas funcionam. Experimente! Aprenda, faça, erre, faça novamente e quando você menos esperar, você vai ser capaz de analisar dados e contribuir para a empresa onde trabalha ou para seu próprio negócio.

Use as informações que você recolheu para selecionar opções de treinamento que ajudam você a alcançar seus objetivos, sem perder tempo e dinheiro.

Conhecimento em Ciência de Dados requer tempo e dedicação. O treinamento que você escolher deve ser um mix de fundamentação teórica, com prática e experimentação.

Recursos

Existem muitos recursos disponíveis para aprender Data Science e tantos recursos acabam gerando sobrecarga nos iniciantes, que podem perder o foco. Separamos aqui uma lista com as que consideramos as melhores fontes de aprendizagem em Data Science.

Blogs:

Data Science Central: http://www.datasciencecentral.com
KDD Nuggets: http://www.kdnuggets.com
Artigos sobre R: http://www.r-bloggers.com
Python Brasil: http://python.org.br

Estatística:

Statistics: http://www.statistics.com
Simply Statistics: http://simplystatistics.org

Machine Learning:

Machine Learning Coursera: https://www.coursera.org/learn/machine-learning
Deep Learning: http://deeplearning.net/
Deep Learning Book: http://www.deeplearningbook.com.br

Vídeos e Competições:

Top 10 TED Talks for Data Scientists: http://www.kdnuggets.com/2016/02/top-10-tedtalks-data-scientists.html
Data Science for Social Goods: http://dssg.uchicago.edu
Kaggle: https://www.kaggle.com
Data Science Game: http://www.datasciencegame.com

Capacitação:

Data Science from Harvard: http://cs109.github.io/2014
Visualização de Dados: https://columbiadatascience.com/category/course-topics/data-visualization
Open Data Science Master: http://datasciencemasters.org
Big Data e Social Analytics MIT: http://getsmarter.mit.edu/big-data-and-social-analytics-course-aw
Metis Data Science: http://www.thisismetis.com
Zipfian Academy: http://www.zipfianacademy.com
e-Setorial Business Analytics: http://www.e-setorial.com.br/servicos 

Fonte http://datascienceacademy.com.br

Cinco dicas poderosas para configurar o seu Web Analytics

Existem algumas dicas que você pode seguir para ajustar de forma precisa o seu Analytics para maximizar o valor desta ferramenta

As ferramentas de Analytics permitem coletar estatísticas de websites para responder questões fundamentais sobre a sua audiência e os seus interesses. Por exemplo, quem está visitando seu site? De onde eles vieram? O que eles estão fazendo no seu site?

Estas são informações bastante importantes, mas como você configura e utiliza estes dados?

Graças a experiência adquirida ao trabalhar com clientes de diversas indústrias, sabemos que ferramentas de Web Analytics são bastante eficientes para nos ajudar a responder estas questões. Existem algumas dicas que você pode seguir para ajustar de forma precisa o seu Analytics para maximizar (e muito) o valor desta ferramenta.

1. Mantenha seu Analytics limpo

Diversas áreas da sua performance digital podem ficar escondidas em um Analytics bagunçado, então vale a pena mantê-lo limpo. Sempre mantenha pelo menos uma visão limpa de todos os dados do seu website na sua conta do Analytics. Isso significa não ter filtros – só os dados como são coletados originalmente, com toda sua glória inalterada.

Porquê? Por que uma das características dos sistemas de Analytics é o de que, se você fizer uma mudança na visualização de seus dados, toda a mudança será aplicável apenas a partir daquele ponto, o que pode acabar causando perda de dados relevantes, caso você não seja cuidadoso.

2. Trackear e Taggear suas Fontes

As ferramentas de website Analytics automaticamente identificam os tipos diferentes de tráfego e suas fontes, mas o seu funcionamento perfeito depende da informação que a ferramenta consegue buscar das URLs que as pessoas estão utilizando para visualizar o seu site.

Então, munir as URLs do Analytics com mais informação, significa que você conseguirá ter um melhor e mais eficiente tracking. O próprio Google fornece uma ferramenta fácil de construção de URLs que faz com que adicionar informações às URLs seja um processo bem simples. Isto é feito através parâmetros UTM, que incluem informações sobre fontes de tráfego, tipos de campanha, nomes de campanha, etc... É importante ter certeza que a sua agência digital está utilizando URLs bem taggeadas. Mesmo quando utilizar links encurtados (bit.ly, por exemplo) as URLs originais devem incluir estes parâmetros UTM.

3. Definindo os Domínios e Subdomínios

Se o seu site tem múltiplos subdomínios, ativar a opção de mostrar o Domínio Completo na sua conta do Analytics fará a sua vida bem mais simples. O Google Analytics não faz isto de forma padrão, ele trata páginas com o mesmo nome em diferentes subdomínios como a mesma página.

Isto é bastante importante porque ele significaria que duas páginas, “exemplo.com/pagina1” e “subdomínio.com/pagina1” seriam exibidos como “/pagina1”no seu Analytics, dificultando sua análise. Você pode de resolver este ponto de maneira fácil, seguindo este passo-a-passo aqui. 

4. Mantenha tudo junto em um só lugar

Para conseguir os melhores resultados e análises com a informação que você tem sobre o seu site, você vai precisar combinar os dados do Google Analytics com outras fontes. O Google Analytics pode ser integrado facilmente com o Adwords e com o Google Search Console. Ao fazer essa integração, você consegue informações muito mais ricas sobre suas campanhas, atividades de search e performance de search pago.

Você talvez tenha que coordenar as agências com as quais você trabalha para implementar isto pela primeira vez, mas vale dizer que esta é uma atividade que só precisa ser realizada uma vez, e que vai te munir com dados valiosos sobre todas as suas atividades futuras. Você também pode ativar reports demográficos e por interesse no seu Analytics para conseguir mais informações sobre seus visitantes, e sobre quem eles são.

5. Use atalhos espertos

Nunca aconselharíamos cortar partes do trabalho em nenhuma atividade, mas existem alguns atalhos que você pode utilizar em Web Analytics. Uma vez que você identificou quais são os dados mais interessantes para você, é possível criar dashboards e atalhos que te levam diretamente para estes dados, fazendo com que a sua naegação seja mais fácil e rápida.

Dashboards são bons para representações visuais de dados (O Google Analytics tem um dashboard inicial com estatísticas chave do site que podem ser customizadas) mas se você faz download regulares de alguns dados, então recomendamos criar estes atalhos . Você terá que adicionar atalhos ao longo do tempo, mas é uma forma bastante prática de manter as coisas organizadas desde o início.

Estas dicas são algumas das coisas mais simples que encontramos, mas que farão toda a diferença ao utilizar o seu Analytics. Mas existem uma série de outras configurações que podem ser implementadas, melhorando e facilitando a sua vida com o Analytics de sua escolha. Como a maioria dos nossos clientes trabalha com o Google Analytics, focamos nossas recomendações nesta ferramenta, mas elas são facilmente aplicadas à outras ferramentas que você possa utilizar.

*Carol Lara é CSO da Mavens of London na América Latina

fonte

Digital Analytics: desmistificando o fabuloso mundo das métricas digitais

Web Analytics, Digital Marketing Analytics, Online Analytics, Business Intelligence, Big Data, Google Analytics… São tantos nomes e misturebas desenfreadas que é difícil entender de fato o que faz, ou não, parte do universo das métricas digitais.

Pra tirar essa bagunça da frente e ajudar a simplificar o conceito, principalmente mostrar que vai muito além de ferramentas, adaptei esse artigo no qual compartilho os seguintes assuntos com você:

  1. Digital Analytics em 140 caracteres
  2. Digital Analytics é o mesmo que usar o Google Analytics?
  3. Digital Analytics é o mesmo que Web Analytics?
  4. E Business Intelligence / BI, é Digital Analytics?
  5. Posso chamar só de Analytics?
  6. Direto ao ponto: o que é Digital Analytics?
  7. Aplicações de Digital Analytics
  8. Bônus: como começar
  9. Referências

1. Digital Analytics em 140 caracteres

"Utilização de dados para a otimização recorrente da experiência online dos seus usuários."

Experiência online pode ser vender, utilizar um app, postar em uma rede social, clicar em um anúncio etc.

Usuário pode ser um cliente, um funcionário, um parceiro etc.

De fato, Digital Analytics não é nem de perto um bicho de sete cabeças.

2. Então é o mesmo que usar o Google Analytics?

Não. Usar o Google Analytics para a tomada de decisão de melhorias no seu site faz parte do escopo de Digital Analytics, mas é apenas uma das possíveis aplicações desse universo todo potentoso.

  • Analytics Maturity Model publicado na Twinkle Magazine

Explicando visualmente:

Este é um modelo criado por um profissional de renome no mercado, o Stéphane Hamel, que foi diretor em uma das consultorias mais prestigiadas do segmento, a Cardinal Path.

O Online Analytics Maturity Model mostra pra gente que Digital (ou Online) Analytics vai muito além de ferramentas (tools) e tecnologia. Contempla também do gerenciamento de times a processos e metodologias. Logo o Google Analytics é "só" um aspecto de uma dessas pontas desse gráfico.

Só esse tema merece um belo post no futuro, mas acho que deu para ter uma noção né?

3. É o mesmo que Web Analytics?

Web Analytics & Digital Analytics são sinônimos, porém o último a gente pode dizer que é a versão melhorada do primeiro, que ficou muito datado.

O termo "Web" é muito ligado à WWW (World Wide Web) e consequentemente ao browser, porém hoje a gente respira mobilidade e internet das coisas (IoT), então nada mais justo que ampliar de "Web" para "Digital".

Isso não é algo que tô puxando da cartola não, uma das maiores associações do mercado, a Digital Analytics Association (DAA), mudou do seu antigo nome "Web Analytics Association" (WAA) para o atual em 2012 justamente por esse motivo.

Logo, se você é mais Old School e prefere continuar usando o termo Web Analytics, tem problema não. Provavelmente você já usou mouse de bolinha e monitor CRT no seu passado longínquo e, assim como eu, pode ser um pouco mais apegado ao vocabulário tech-clássico.

4. E Business Intelligence / BI?

Não. E sim.

Confesso que é um pouco revoltante a descarada prostituição e buzzwordificação do termo. Tudo quanto é agência digital do novo século faz, vende e contrata gente de BI: de analista de BI, estagiário de BI, gerente de Business Intelligence, programador BI…

Aí você vai ver na descrição da função, é pra tirar relatório no Google Analytics, analisar desempenho de mídia ou confeccionar lindas e coloridas planilhas de Excel. Melhor falar que a vaga é para Digital Analytics (ou Online Analytics, ou Web Analytics ao melhor estilo mouse com bolinha).

Revoltas à parte, Business Intelligence está para o Sistema Solar assim como Digital Analytics está para o planeta Terra (#AmoAnalytics). Um está incluído no outro, mas o primeiro é monstruosamente maior.

“(…) a set of techniques and tools for the acquisition and transformation of raw data into meaningful and useful information for business analysis purposes”

Este é o "Tweet" na Wikipedia sobre Business Intelligence, e se você tiver alguns minutos de paciência verá que BI é mais amplo, complexo e encorpado que o nosso querido fitness Digital Analytics, mas isso não deixa em nada o último desinteressante, mesmo que a gente não chegue a comentar aqui sobre Ralph Kimball ou William Inmon, as duas maiores referências no tema... então bora continuar com nossa lupa analisando o nosso planeta azul de métricas.

[revolta ON] Só pra não perder o hábito: você usar o Google Analytics pra gerar relatórios de performance do seu site e dizer que faz BI seria como você fazer a arte de um cartão de visitas da empresa do seu tio (sim, você é o sobrinho) e dizer para os amiguinhos que faz planejamento e desenvolvimento estratégico de comunicação e publicidade. [/revolta OFF]

E o Big Data?

Você pode praticar Digital Analytics e Big Data ao mesmo tempo, uma vez que o último se refere a uma quantidade elefântica de dados. Ou seria baleística-azulística?

Transcendendo a biologia da coisa, Big Data, que virou outra buzzword, está ligada da coleta à extração de dados a partir de uma volume realmente monstruoso de dados, com intuito de fazer descobertas (a.k.a. gerar insights). Logo o Big Data é praticável tanto no escopo de Digital Analytics como em Business Intelligence.
Entenda melhor este processo seguindo este link.

5. Posso chamar só de Analytics?

Ô se pode. Deve. É nome short, tá na moda também. Ousaria dizer que "Analytics" é sexy. O que tenho reparado é que ficou chic, cool, descolado, e que cada vez mais ganha novos prefixos.

Veja se você já se deparou com algum desses aí:

  • Digital Marketing Analytics
  • Startup Analytics
  • Online Business Analytics
  • eCommerce Analytics
  • App Analytics

Só de usar, já dá uma embelezada né? #AnalyticsSuaLinda

E o significado é o mesmo pra tudo, porém já está segmentado no seu devido contexto:

"Utilização de dados para a otimização da experiência online dos seus usuários [no App / no Ecommerce / na Startup / etc…]"

6. Afinal de contas, sem enrolação, do que se trata Digital Analytics?

Agora vamos à parte mais teórica do texto, só pra deixá-lo um pouco mais sério:

A gente aprendeu antes que

Digital Analytics tem um bocado de nomes doidos, que você pode escolher na maioria das vezes como chamá-lo, mas por favor não use o termo BI pra se referir a tarefas como gerar relatórios no GA, ou ainda atestar que o CTR escapuliu do CPC que foi enquadrado pelo CPA.

E agora vamos aprender que

De uma forma bem objetiva, Digital Analytics compreende um conjunto de técnicas, processos e metodologias que visam a utilização de dados em ambientes digitais para a otimização recorrente e (melhor) tomada de decisão, percorrendo ao menos 3 áreas ou estágios:

  • Coleta de dados (Data Capture): ferramentas, armazenamento de dados, integridade, implementações técnicas, modelagem etc.
  • Visualização dos dados (Data Reporting): relatórios, painéis de controle (dashboards), monitoramento, alertas etc.
  • Análise dos dados (Data Analysis): geração de insights, criação de planos de ação e otimização, formação de base de conhecimento, aprendizado etc.

Avinash Kaushik

em seu livro Digital Analytics 2.0

"Digital analytics is the analysis of qualitative and quantitative data from your business and the competition to drive a continual improvement of the online experience that your customers and potential customers have which translates to your desired outcomes (both online and offline)"

Em tradução livre e descompromissada, seria algo como "Digital Analytics é a análise de dados quantitativos e qualitativos do seu negócio e dos concorrentes orientada ao melhoramento contínuo da experiência dos seus clientes e potenciais clientes que se traduz no seu retorno desejado (ambos online e offline).

E fechamos esta parte teórica com mais uma definição:

Digital Analytics Association

What is Digital Analytics?
"The science of analysis using data to understand historical patterns with an eye to improving performance and predicting the future. The analysis of digital data refers to information collected in interactive channels (online, mobile, social, etc.). Digital Analytics has become an integral part of core business strategies and maintaining a competitive edge. Digital data started the Big Data meme as it heralded the onslaught of Volume, Variety and Velocity, opening the door to new types of correlative discovery much wider. Digital Analytics is a moving target of innovation and exploration. That’s what makes it fascinating."

Realmente fascinante!

[Modo Preguiça ON] Link para o Google Tradutor

7. Que tal demonstrar algumas aplicações?

  • Exemplo de Dashboard postado por ∆ Studio–JQ ∆ no Dribble

Vamos explorar mais a fundo em outras postagens, porém para ficar fácil ligar o nome à coisa, alguns exemplos de aplicações de Digital Analytics:

  • Desenvolver dashboards (painéis de métricas).
  • Gerar relatórios de desempenho de mídia.
  • Implementar ferramentas de analytics com as melhores práticas de mercado.
  • Planejar e definir os indicadores chave de performance (KPI's) do seu site ou campanha.
  • Integrar diferentes fontes de dados em um Data Warehouse.
  • Utilizar os dados coletados para criar novos planejamentos de comunicação digital.
  • Criar e planejar testes A/B definindo métricas de sucesso.
  • Formar uma base de conhecimento do comportamento de navegação do seu usuário.
  • Desenvolver automações (e-mails, conteúdo personalizado, formulários de lead etc.) com base neste mesmo comportamento de navegação.
  • Criar públicos e segmentos de audiência para Remarketing.
  • E a lista vai longe…

Você deve ter notado vários itens acima são táticas ou ações de Marketing Digital, Inbound Marketing e/ou Growth Hacking. Não tem jeito, todos estão relacionados, ligados nessa [termo duramente censurado] gostosa capicce?

No final, a coisa funciona mais ou menos assim: você pode praticar marketing digital ou inbound sem nem olhar para Digital Analytics (shame on you). Mas na maioria das vezes, a prática de Digital Analytics estará sempre associada a outros temas. Sem dúvida uma bela de uma companhia!

8. **Bônus — Como começar?

Aproveitando toda a nova onda de Inbound & Fórmula de Lançamento, marotamente vou compartilhar 2 bônus com você:\

a. Curso oficial do Google

Se já não está praticando hoje nenhuma das atividades de Digital Analytics, ou se já está, mas quer aprofundar seus conhecimentos, minha recomendação top estrela na testa é sempre a mesma: comece pelo curso oficial do Google, o Digital Analytics Fundamentals .

É free. É top. É online e, pra quem prefere, tem legenda em português. Mas não se acostume com traduções, pois a maior parte do conteúdo de Digital Analytics na web está em inglês.

b. Avaliação de Digital Analytics Maturity

  • Exemplo de Relatório da Ferramenta DigitalAnalyticsMaturity.org

Mais um 0800, mas dessa vez se você não se sente confortável em ler em inglês nem tente.

Essa é uma ferramenta free de auto avaliação do modelo de maturidade de Analytics, citado anteriormente.

Espero humildemente que este artigo tenha contribuído um pouquinho mais na sua jornada pelo nirvana Analítico.

Tem sugestões e referências? Elogios de montão? Críticas vulcânicas? Deixe seu comentário!


"Muito obrigado e até a próxima!
May the Analytics be with you!!!"

9. Referências

Pra desenvolver esse texto usei as referências legalmente surripiadas e devidamente creditadas:

IBGE publica Plano de Dados Abertos

Pesquisas, estatísticas e indicadores serão disponibilizados em formato aberto

Pesquisadores, professores universitários, estudantes, empresários, representantes de Organizações da Sociedade Civil e demais cidadãos serão beneficiados com a publicação de dados abertos pelo Instituto Brasileiro de Geografia e Estatística (IBGE). Todas as pesquisas, estatísticas e indicadores elaborados pelo instituto serão publicados em formato aberto. Divulgado na última semana, o calendário de disponibilização está no Plano de Dados Abertos (PDA) do IBGE para o próximo biênio.

“A missão do IBGE é retratar o Brasil com informações necessárias ao conhecimento de sua realidade e ao exercício da cidadania. Portanto, para o instituto é fundamental dar transparência aos dados que são produzidos”, explica Arnaldo Barreto, diretor substituto de Informática do IBGE. Para ele, a elaboração do PDA pelo órgão é um marco para a implantação de um instrumento de planejamento e coordenação de ações de divulgação de dados.

Dados e metadados do Cadastro Central de Empresas, do Censo Agropecuário, do Censo Demográfico e do Índice Nacional de Preços ao Consumidor Amplo (IPCA) são exemplos de pesquisas e indicadores que já foram disponibilizados em formato aberto pelo IBGE. Encontram-se também divulgados dados abertos da Contagem da População, da Classificação Nacional de Atividades Econômicas, Pesquisa Anual de Serviços e da Pesquisa das Características Étnico-raciais da População.

Segundo Barreto, a publicação de dados abertos para a sociedade é um ganho para a elaboração e desenvolvimento de ações governamentais. “A discussão de políticas públicas entre o cidadão e o governo fica mais madura, pois se baseia em fatos e dados oficiais, construídos com metodologias internacionalmente aceitas e coletadas de maneira transparente”, afirma o diretor substituto.

Dados Abertos

A divulgação do PDA pelo IBGE atende ao estabelecido pelo Decreto nº 8.777, de maio de 2016, que criou a Política de Dados Abertos da Administração Pública Federal (APF). Os dados são abertos quando podem ser tratados e trabalhados por pessoas e máquinas. Qualquer cidadão pode livremente usá-los, reutilizá-los e redistribuí-los, estando sujeito, no máximo, à exigência de creditar a sua autoria.

“De acordo com o decreto, todos os órgãos federais têm de elaborar o seu planejamento e a equipe de Dados Abertos do Ministério do Planejamento está à disposição para auxiliar os órgãos neste trabalho”, afirma Marcelo Pagotti, secretário de Tecnologia da Informação do Ministério do Planejamento, Desenvolvimento e Gestão (MP).

O Portal de Dados Abertos (dados.gov.br) conta atualmente com 1.122 conjuntos de dados em formato aberto.

fonte

Não posso fazer tijolos sem barro

Sherlock Holmes

"Dados! Dados!", gritou impaciente.
"Eu não posso fazer tijolos sem barro."
As Faias Cor de Cobre





E você? Como tomas suas decisões?
Tem o apoio de informações precisas sobre o seu negócio?

conheça nossos serviços





O poder dos Sistemas de Apoio à Decisão (SAD)

Também chamados de Decision Suport System (DSS), os Sistemas de Apoio à Decisão (SAD) se utilizam de uma série de conceitos, técnicas e ferramentas para transformar dados em informações úteis para auxiliar a tomada de decisões. Para a elaboração de um sistema deste tipo, normalmente muitos profissionais são envolvidos, principalmente nas áreas da Tecnologia da Informação e Comunicação (TIC) e de Negócios e, especificamente, nas áreas de Business Intelligence (BI), Business Analytics (BA), Data Mining, Machine Learning, Estatística, Banco de Dados, Infraestrutura de Software, Inteligência Competitiva, Marketing, Engenharia e Gestão do Conhecimento, entre outras. A interação de distintos perfis de profissionais garante, além da performance e segurança, que os pontos importantes para a instituição (Indicadores Chave - KPI) sejam definidos pelas áreas que têm o devido conhecimento, maximizando o sucesso dos projetos.

Cubo Analítico

Com todos os Indicadores Chave (KPI) definidos, todas as regras de negócio documentadas e a origem de todos os dados conhecida, se inicia o desenvolvimento do SAD. A primeira etapa consiste em ler os dados de todas as fontes definidas no projeto, integrando-os em um grande armazém de dados, o Data Warehouse (DW).

A partir daí vem a grande sacada do Business Intelligence: são criados os Cubos Analíticos, também chamados de Cubos Multidimensionais, um para cada fato a ser analisado e sem limite de quantidade de Dimensões.

Um único cubo deve ser capaz de oferecer, com muita agilidade, todas as informações que um gestor necessita sobre o fato que o cubo analisa. #Todas.

O exemplo ao lado é uma representação gráfica (gif) de um cubo de Movimentações Financeiras composto por 3 dimensões:

  • Tipo de Movimentação Financeira (o que);
  • Data (quando) e
  • Localidade (onde)

Cada uma das dimensões pode ser utilizada para filtrar os dados e selecionar apenas o período desejado. A porção em vermelho corresponde a seleção feita e no último quadro do gif percebemos o quadrado que indica a intersecção de todos os filtros, ou seja, a resposta desejada.

Filtros aplicados: Tipo de movimentação = Vendas, Data = Ano de 2017, Localidade = Estado de São Paulo.

Painéis Interativos

Agora que o cubo analítico é capaz de dar todas as respostas necessárias ao gestor, a próxima etapa é criar painéis interativos (dashboards) que permitam ao próprio usuário refinar suas consultas, simplesmente selecionando por exemplo o Ano e o Mês, sempre com a possibilidade de filtrar ainda mais os dados, clicando nos gráficos (de barras, pizza, etc.) e obtendo respostas precisas e praticamente automáticas, pois todas as técnicas e ferramentas utilizadas permitem que estes dados sejam pré-computados e de fácil acesso. Tendências e desvios do padrão nos dados da instituiçao são facilmente encontrados, visualmente, de forma clara e intuitiva, conforme alguns exemplos abaixo:

Caso Toyota

No final dos anos 90, a empresa enfrentou grandes problemas em sua cadeia de operações. O custo de armazenamento de carros se elevou e ela não estava mais conseguindo fornecer o produto a tempo para seus clientes. Utilizava computadores que geravam uma quantidade enorme de dados e relatórios que não eram utilizados estrategicamente porque nem sempre eram exatos e muitas vezes eram fornecidos tarde demais - o que atrasava a tomada de decisões.

Uma nova CEO foi contratada. Ela identificou algumas soluções: primeiro, a necessidade de um Data Warehouse - um repositório central de dados, organizado e de fácil acesso. Segundo, a necessidade de implementação de ferramentas de software para efetuar a manipulação desses dados. O novo sistema implantado infelizmente não funcionou de maneira correta: a entrada de dados históricos incluiam anos de erros humanos que não foram detectados, dados duplicados, inconsistentes e falta de importantes informações. Tudo isso gerou análises e conclusões precipitadas sobre o funcionamento da distribuidora.

Apenas em 1999 a empresa resolveu implantar uma plataforma de Business Intelligence. Em questão de dias o sistema apresentou bons resultados. Por exemplo, descobriram que a empresa era cobrada duas vezes por um envio especial por trem (um erro de US$ 800.000). Entre 2001 e 2005, o volume de carros negociados aumentou em 40%, o tempo de trânsito foi reduzido em 5%. Esses e vários outros  benefícios ajudaram a Toyota a alcançar as maiores margens de lucro no mercado automotivo desde 2003, e estão aumentando consistentemente a cada ano desde então. Além disso, um estudo realizado pela IDC Inc. em 2011, indicou que a instituição alcançou, naquele ano, um retorno de pelo menos 506% sobre o investimento em BI. Fonte

Pirâmede da Inteligencia

Esse é apenas um dos inúmeros casos que ilustram a eficiência dessas soluções capazes de integrar e interpretar Dados, transformando-os, de alguma forma, em Informação relevante ao seu negócio, possibilitando, com a devida análise, a criação de Conhecimento. Através da utilização e da gestão deste conhecimento nasce a Inteligência.

Conclusão

Mais de 15 anos passaram desde que a Toyota adotou o BI. Atualmente, gera-se mais de 2.5 quintilhões de bytes de dados diariamente no mundo, sendo que 90% dos existentes hoje foram criados nos últimos 2 anos. A tendência é que esse número cresça de uma forma cada vez mais rápida. 

Uma Solução de Apoio à Decisão não precisa custar milhões de dólares nem exigir a venda casada de equipamentos, treinamentos, consultorias e serviços. Pelo contrário, com software livre e com o respaldo de uma consultoria especializada pode-se atingir resultados excelentes e sustentáveis utilizando o equipamento já existente, com qualquer sistema operacional do mercado, podendo ser acessado desde celulares e computadores até mesmo em grandes painéis televisores. Isto tudo com toda a segurança e liberdade de quem tem todo o código fonte em seu poder.

E você, o que vai fazer com os seus dados?

O que é uma Solução de Apoio à Decisão?

Solução de Apoio à Decisão (SAD) também conhecido Business Intelligence ou Business Analytics, é a especialidade da e-Setorial: transformar dados em informações úteis para auxiliar a tomada de decisões. A partir da integração de dados oriundos de diversas fontes, é possível organizá-los, categorizá-los e filtrá-los em uma única plataforma. Oferecemos ferramentas visuais intuitivas que permitem a análise e compartilhamento das informações com sua equipe, assegurando a confiabilidade da escolha do gestor. 

(modelos de dashboards oferecidos pela e-Setorial)

Confira o Workflow das nossas Soluções de Apoio à Decisão.

 

Não entendeu muito bem? A gente exemplifica. O seguinte caso aconteceu com uma distribuidora de carros da Toyota: 

No final dos anos 90, a empresa enfrentou grandes problemas em sua cadeia de operações. O custo de armazenamento de carros se elevou e ela não estava mais conseguindo fornecer o produto a tempo para seus clientes. Utilizava computadores que geravam uma quantidade enorme de dados e relatórios que não eram utilizados estratégicamente porque nem sempre eram exatos e muitas vezes eram fornecidos tarde demais - o que atrasava a tomada de decisões.

Uma nova CEO foi contratada. Ela identificou algumas soluções: primeiro, a necessidade de um Data Warehouse - um repositório central de dados, organizado e de fácil acesso. Segundo, a necessidade de implementação de ferramentas de software para efetuar a manipulação desses dados. O novo sistema implantado infelizmente não funcionou de maneira correta: a entrada de dados históricos incluiam anos de erros humanos que foram desapercebidos, dados duplicados, inconsistentes e falta de importantes informações. Tudo isso gerou análises e conclusões precipitadas sobre o funcionamento da distribuidora.

Apenas em 1999 a empresa resolveu implantar uma plataforma de Business Intelligence. Em questão de dias o sistema apresentou bons resultados. Por exemplo, descobriram que a empresa era cobrada duas vezes por um envio especial por trem (um erro de US$ 800.000). Entre 2001 e 2005, o volume de carros negociados aumentou em 40%, o tempo de trânsito foi reduzido em 5%. Esses e vários outros  benefícios ajudaram a Toyota a alcançar as maiores margens de lucro no mercado automotivo desde 2003, e estão aumentando consistentemente a cada ano desde então. Além disso, um estudo realizado pela IDC Inc. em 2011, indicou que a instituição alcançou, naquele ano, um retorno de pelo menos 506% sobre o investimento em BI.

dado-informacao-conhecimento-inteligencia

Esse é apenas um dos inúmeros casos que ilustram a eficiência dessas soluções capazes de integrar e interpretar dados, transformando-os, de alguma forma, em Informação relevante ao seu negócio, possibilitando, com a devida análise, a criação de Conhecimento. Através da utilização e da gestão deste conhecimento nasce a Inteligência. 

Mais de 15 anos passaram desde que a Toyota adotou o BI. Atualmente, geramos mais de 2.5 quintilhões de bytes de dados diariamente, sendo que 90% dos existentes hoje foram criados nos últimos 2 anos. A tendência é que esse número cresça de uma forma cada vez mais rápida. 

E você, o que vai fazer com os seus dados? 

Pentaho Day 2015: Um evento dedicado à troca de ideias sobre desenvolvimento Open Source e Pentaho. 

 

A Comunidade Pentaho, qual a e-Setorial está inserida, vem se reunindo desde 2008 para trocar experiências, com o intuíto de fortalecer o grupo. Afinal, precisamos realizar um trabalho excelente para que sejamos reconhecidos como fortes e capazes de realizar grandes feitos com desenvolvimento Open Source. E nada como uma boa troca de ideias e conhecimentos para a obtenção de insights.

No último final de semana, nos dias 15 e 16 de maio, estivemos em Curitiba (PR) para participar do Pentaho Day 2015. Profissionais da área da tecnologia vieram de diversas áreas do Brasil e do mundo. Em média 500 participantes fizeram o maior Pentaho Day da história do evento. 

A organização foi algo que chamou atenção logo de início: desde os e-mails com lembretes antes do evento, o credenciamento divido por ordem alfabética, a divisão das atrações por iniciante/avançado, a estrutura dos auditórios e salas de aula da Universidade Positivo.

Leonardo Matt (Assespro-Paraná), Lincoln Paulo Martins Moreira (Sucesu-Pr), Marcio Junior Vieira (Ambiente Livre Tecnologia), Christian Capelini (Universidade Positivo) e Pedro Alves (Pentaho) abriram o evento com uma breve introdução antes de iniciarem as atrações efetivamente. Nomes como Caio Moreno, Marcio Junior Vieira e Marcello Pontes foram responsáveis pela transmissão de conteúdos para os participantes, através de paletras, mini-cursos e apresentações de cases.

Palestrantes_Pentahoday_2015

(palestrantes Pentaho Day 2015)

Temas específicos foram abordados: Pentaho Data Integration, Modelagem de Dados, CGG & Pentaho Reports, Dashboards Ctools, plug-ins, Amazon Redshift, entre outros. Também foram pincelados o funcionamento de tecnologias complementares.

Além disso por diversos momentos o networking foi facilitado, tanto durante os coffees e quanto durante o jantar de confraternização ao final do primeiro dia de evento.

(coffee break)

(jantar pós primeiro dia de evento) 

E pelo visto, não fomos os únicos animados.

A união do grupo é visível. Temos um objetivo em comum: antes de concorrentes, somos responsáveis pelo fortalecimento Comunidade Pentaho e Open Source. Encontros como esse são muito importantes, mais do que apenas transmissão de conhecimento: o networking e a troca de ideias podem ser a porta de entrada para grandes inovações, tanto para empresas quanto para a sociedade.

(foto oficial do evento/fonte: facebook Pentaho Brasil)

Seis mitos e equívocos a respeito do BI - Business Intelligence

É preciso rever atitudes frente à análise de dados e abandonar alguns conceitos ultrapassados

Quantas das nossas crenças são tão profundas que nunca pensaríamos em questioná-las? Na realidade, mais do que julgamos. Os seres humanos não são tão racionais como pensamos, e, de fato, não há tempo para pesquisar cada alegação que fazemos.

Temos o hábito de repetir o que os outros dizem e aceitar o que dizem como verdade. Algumas dessas premissas são verdadeiras, mas é claro que, em alguns casos, podemos estar sendo levados a acreditar em uma mentira.

Por exemplo, é um equívoco comum que a Grande Muralha da China é a única estrutura feita pelo homem visível do espaço; é possível também observar, a partir do espaço, as cidades e alguns edifícios claramente definidos. Da mesma forma, os Vikings são vulgarmente representados como tendo capacetes com chifres; no entanto, este detalhe da indumentária deste povo foi criado pelo compositor Wagner, na sua ópera The Ring Cycle.

Estes equívocos, infelizmente, não estão restritos a curiosidades interessantes. Mitos e equívocos podem ser encontrados também no mundo dos negócios, muito embora nos protegermos deles possa sair muito caro.

Diante das rápidas alterações na indústria de Business Intelligence (BI) nos últimos dez anos, muitas vezes tendemos acreditar em mitos no que diz respeito à análise de dados. Meu objetivo tentar desfazer alguns deles, assim como conceitos ultrapassados, de uma vez por todas.

Vejamos seis mitos sobre BI:

1 - Apenas os gestores responsáveis por decisões precisam de BI

Apesar de anos de esforço e de enorme investimento, o BI não chega às mãos de todos os responsáveis por processos de decisão. O uso de BI é muitas vezes limitado a um certo número de gestores com poder de decisão dentro de uma organização, e este tipo de ferramenta deve ser acessível a todos os tipos de colaboradores, uma vez que o processo de decisão é cada vez mais amplo dentro das organizações e empresas, e ao fato de todas as decisões precisarem de dados.

Curiosamente, este conceito remonta a estruturas hierárquicas antiquadas no século XIX – muito antes da existência do software. Quando implantado pela primeira vez, o BI utilizou estas estruturas, o que significava que o seu objetivo tinha a ver com auditoria e controle, e não com permitir que as pessoas tomassem melhores decisões através da análise.

Hoje em dia, e apesar do BI ter se tornado mais sofisticado, este pensamento ainda está em vigor, muitas vezes, o que significa que a maioria das pessoas não está extraindo benefícios das camadas extra de dados a que têm acesso.

2 - Uma boa ferramenta BI gera bons relatórios

Quase todos os projetos de BI começam com o objetivo louvável de desenvolver relatórios de gestão. Muitas vezes, relatórios financeiros. E, quase sempre,  é indicado ao departamento de TI o que a ferramenta de BI deve fazer. No entanto, o problema é que a informação que se obtém é estática e “fala” pouco ao usuário.

Isto significa que é quase impossível “interrogar” os dados e, no entanto, a capacidade de análise devia ser a característica chave de um bom sistema de BI. Os usuários  precisam ser capazes de interagir, questionar os dados e construir sistemas de BI que possam ajudar a explorar causas profundas, inter-relações, tendências e mudanças nos dados.

3 - O BI In-Memory resolve o problema da adoção

No mundo moderno, qualquer coisa que demore mais do que uma busca no Google para gerar uma resposta corre o risco de ser abandonada por seus usuários. No entanto, há mais na adoção do que a velocidade em si. Mesmo que sejam rápidos, os sistemas de BI podem tornar-se rígidos devido à falta de um poderoso back-end e ao tempo gasto pelos usuários na produção de relatórios ou visualizações. Resultado? O usuário pode deixar de querer usar os sistemas…

Para criar uma cultura de analítica, o software deve ser rápido, simples de usar e flexível o suficiente para permanecer relevante para o usuário.

4 - Não ter em casa as habilidades analíticas necessárias

Por que pagar analistas e cientistas de dados para interpretar informações? Os seres humanos têm capacidades analíticas naturais, incluindo o reconhecimento de padrões (distinguindo entre aglomerados e pontos individuais), detecção de alterações (notando algo diferente em uma sala) e categorização (detecção de relevância).

Em vez disso, as empresas precisam de um software que democratize a análise de dados para todos e use as habilidades analíticas inatas que todos temos. As organizações precisam democratizar a análise de dados e colocá-la diretamente nas mãos dos seus colaboradores para gerar melhores resultados.

5 - Precisamos de mais recursos visuais para ajudar as pessoas a “obterem” dados

É verdade que cerca de 60% do nosso processamento neural é dedicado a coisas que vemos e, portanto, as visualizações de dados são muito importantes. No entanto, uma imagem por si só não é suficiente. Algumas ferramentas têm visualizações bonitas, mas não permitem a navegação nos dados e, obviamente, esse fato é uma maldição, dadas as capacidades dos gadgets dos dias de hoje, usados por colaboradores/usuários que procuram cada vez mais informações na Internet, através de diversas aplicações.

É fundamental que os usuários possam interagir com as visualizações, para que possam compreender o seu significado e fazer novas descobertas. Olhar para um relatório limitado estática ou interativamente coloca um fim a este processo.

6 - Melhor acesso aos dados significa melhores decisões

Ter toda a informação do mundo não ajudou os banqueiros a evitar a crise financeira de 2009. O fato de os dados estarem lá não significa que eles estejam sendo usados de maneira correta.

A melhoria na capacidade de tomada de decisões requer prática e competência. Estas aptidões nascem do desenvolvimento de competências que ajudam os usuários a protegerem-se de situações inesperadas e de uma maior frequência de determinadas tarefas.

Malcolm Gladwell escreveu que levamos 10 mil horas para que possamos ser especialistas em qualquer atividade. Assim, também os usuários que trabalham com qualquer sistema de BI precisam continuar a praticar a análise de dados. Essa prática vai ajudá-los a tomar decisões mais inteligentes e a descobrir conceitos mais úteis.

Em 2016, as empresas procuram oportunidades de crescimento e é fundamental que não estejam restringidas pelo peso da crença em mitos. Elas precisam rever as suas atitudes frente à análise de dados e tomar medidas para se moverem na direção certa. Em última análise, tomar essas medidas pode melhorar as operações de negócios – que é o objetivo de qualquer empresa. E nesse fato tenho a certeza que podemos sempre acreditar.

fonte

Serviços

Em busca da informação gerencial estratégica, reunimos as técnicas mais modernas de software, processos e pessoas especializadas para conceber soluções completas de acordo com a sua necessidade. O objetivo é fazer você concentrar seus esforços naquilo que importa: o seu produto ou serviço!

A e-Setorial disponibiliza uma completa gama de serviços voltados para: