Business Intelligence & Business Analytics Blog

170 projetos de DATA SCIENCE e MACHINE LEARNING com Python, resolvidos e explicados

Business Analytics

A utilização de técnicas de Inteligência Artificial (AI) e/ou Aprendizado de Máquina (ML) promove projetos de Business Intelligence à categoria de projeto de Business Analytics.

Sem medo de me tornar repetitivo, deixo como sugestão de leitura a "Bíblia" da garimpagem de dados (Data Mining): Data Mining: Practical Machine Learning Tools and Techniques (Morgan Kaufmann Series in Data Management Systems) 4th Edição.

Muitas linguagens de programação e ferramentas podem ser adotadas para estas atividades. Costumamos utilizar uma ferramenta chamada Weka - Pentaho Data Mining, Machine learning software to solve data mining problems, integrada em nossas soluções.

Neste artigo, apresentarei a você mais de 170 projetos de ciência de dados e aprendizado de máquina resolvidos e explicados usando a linguagem de programação Python, separados em duas seções: uma para iniciantes e outra de nível avançado. 

Projetos de aprendizado de máquina para iniciantes

1. Previsão do preço das ações

2. Projeto de ciência de dados sobre Altura dos Presidentes

3. Projeto de ciência de dados sobre análise da taxa de natalidade

4. Projeto de ciência de dados em séries temporais

5. Projeto de Ciência de Dados sobre Área e População

6. Um passo a passo do projeto de aprendizado de máquina completo

7. Resumo do Texto

Projetos de aprendizado de máquina avançado

1. Previsão do preço da casa

2. Detecção de máscara facial em tempo real

3. Reconhecimento de entidade nomeada

4. Detecção da placa do número

5. Análise IPL com Python

6. Previsão do preço do ouro

7. Detecção de Objeto

8. Análise de atletas com salários mais altos

9. Geração de Texto

10. Correção ortográfica com Python

11. Classificação de renda

12. Modelo de tradução de idiomas

13. Retomar a triagem

14. Classificação da linguagem de sinais

15. Análise de Intenção de Compra Online

16. Análise de gráfico de rede

17. Extração de palavras-chave

18. Análise de livros mais vendidos da Amazon

19. Previsão de casos Covid-19 para os próximos 30 dias

20. Classificação de gênero

21. Reconhecimento de flores

22. Análise do Índice de Qualidade do Ar

23. Detecção de pneumonia

24. Previsão de atrito de funcionário

25. Reconhecimento de gestos manuais

26. Detecção de máscara facial

27. Análise de cesta de compras usando algoritmo a priori

28. Detecção de câncer de mama

29. Modelo de previsão de terremotos

30. Detecção de outlier

31. Previsão de doenças cardíacas

32. Análise de usuários de plástico

33. Chatbot com aprendizado de máquina

34. Modelo de previsão da próxima palavra

35. Idade e detecção de gênero com Python

36. Teclado de autocorreção com Python e aprendizado de máquina.

37. Aprendizado de máquina em 5 linhas de código.

38. Detecção de falsificação profunda com aprendizado de máquina.

39. Preveja as eleições dos EUA com Python.

40. Detecção de moeda falsa com aprendizado de máquina.

41. Prever partidas do Tinder com aprendizado de máquina.

42. Segmentação de imagem

43. Gerador de títulos com Python.

44. Esboço a lápis com Python.

45. OpenAI Gym em Aprendizado de Máquina

46. ​​Covid 19 Analysis.

47. Analisar correspondências ILP.

48. Leitor de código de barras e código QR com Python

49. Extraia texto de PDF com Python.

50. Prever IPL Winner 2020.

51. Preveja os preços dos carros.

52. Analisar registros de chamadas.

53. Crie uma API com Python.

54. Envie e-mails personalizados com Python.

55. Reconhecimento de cores com aprendizado de máquina.

56. Crie uma animação de vídeo 3D.

57. Graph Algorithms in Machine Learning.

58. Extração de recursos de imagem.

59. Previsão de chuva com aprendizado de máquina.

60. Classifique as nacionalidades com o aprendizado de máquina.

61. Detecção de fraude com aprendizado de máquina.

62. Modelagem de Tópico com Python

63. Reconhecimento de entidade nomeada

64. Análise de bate-papo em grupo do WhatsApp

65. Traduzir Linguagens Usando Python

66. Análise de segurança de rede

67. Corrida de gráfico de barras com Python

68. Pesquisa de palavra-chave com Python

69. Detecção de rosto com Python

70. Modelo de detecção de emoção

71. Telegram Bot com Python

72. Reconhecimento de Caligrafia

73. Visualize um sistema solar com Python.

74. Modelo de detecção de discurso de ódio

75. Construa Filtros do Instagram com Python.

76. Rastreamento de contato com aprendizado de máquina

77. Implantar um Chatbot com Python em um aplicativo da Web

78. Resuma o texto com o aprendizado de máquina

79. Classificação de idiomas com aprendizado de máquina.

80. GUI de verificação de OTP com Python

81. Crie um audiolivro com Python

82. Análise de sobrevivência do Titanic

83. Reconhecimento de imagem com PyTorch

84. Modelo de classificação de gênero

85. Previsão de nascimentos diários

86. Algoritmo de pesquisa binária

87. Classificação do Galaxy com aprendizado de máquina

88. Séries Temporais com Modelo LSTM

89. Classificação de imagem com TensorFlow

90. Preveja o clima com aprendizado de máquina

91. Crie um pacote com Python

92. Visão computacional com Python

93. Análise de diamantes com Python

94. Classificação de texto com TensorFlow

95. Segmentação de imagem com Python

96. Regressão Ridge e Lasso

97. Preveja a eficiência do combustível

98. Análise ABC com Python

99. Segmentação pulmonar com aprendizado de máquina

100. Análise RFM com Python

101. Construir rede neural com código Python

102. Algoritmo Genético com Python

103. Prever migração com aprendizado de máquina

104. Analisar dados de saúde

105. PNL para outros idiomas

106. Projeto de Ciência de Dados em Texto e Anotações

107. Data Science Project on - Handwritten Digits

108. Projeto de Ciência de Dados em - Máquinas de Vetor de Suporte

109. Projeto de Ciência de Dados - Previsão de Preço de Ações com Aprendizado de Máquina

110. Data Science Project on - Classificação do Texto

111. Projeto de Ciência de Dados sobre Extração de Características HOG

112. Data Science Project on - Análise de sentimentos de produtos da Amazon com aprendizado de máquina

113. Projeto de ciência de dados - detecção de spam de e-mail com aprendizado de máquina

114. Projeto de Ciência de Dados - Previsão de Doenças Cardíacas com Aprendizado de Máquina

115. Projeto de Ciência de Dados - Sistema de Recomendação de Filmes

116. Projeto de Ciência de Dados - Análise de Desempenho do Aluno com Aprendizado de Máquina

117. Projeto de ciência de dados sobre análise FIFA com python

118. Projeto de ciência de dados - Fake News Classification

119. Projeto de Ciência de Dados - Sequenciamento de DNA com Aprendizado de Máquina

120. Projeto de ciência de dados - sistema de recomendação de livros com aprendizado de máquina

121. Projeto de Ciência de Dados - Previsão de Preço de Bitcoin com Aprendizado de Máquina

122. Projeto de aprendizado de máquina - Redes neurais artificiais

123. Estratégia de negociação algorítmica com aprendizado de máquina e Python

124. Análise de sentimento de resenhas de filmes - Classificação binária com aprendizado de máquina

125. Projeto de Ciência de Dados - Análise de Vendas de Supermercado

126. Projeto de Ciência de Dados - Análise do PIB

127. Projeto de ciência de dados - prever a rotatividade do cliente com Python e aprendizado de máquina

128. Data Science Project - San Francisco Crime Analysis

129. Projeto de aprendizado de máquina - reconhecimento de atividade humana usando dados de smartphone

130. Detecção de fraude de cartão de crédito com aprendizado de máquina

131. Previsão do tempo com aprendizado de máquina

132. Detecção de spam de SMS com aprendizado de máquina

133. Detecção de Covid-19 com aprendizado de máquina e IA

134. Segmentação de clientes com aprendizado de máquina

135. Previsão de rotatividade de funcionários com aprendizado de máquina

136. Prever diabetes com aprendizado de máquina

137. Classificação de imagens com PyTorch

138. Previsão de série temporal com modelo ARIMA

139. Processamento de linguagem natural em bate-papos do WhatsApp

140. Modelo de detecção de notícias falsas

141. Classificação de imagens com redes neurais artificiais

142. Modelo de classificação binária

143. Aumento de dados com aprendizado profundo

144. Modelo de previsão da próxima palavra.

145. Segmentação de imagem

146. Algoritmo XGBoost em Aprendizado de Máquina

147. Detecção de pontos de referência de rosto

148. Filtragem de imagens com aprendizado de máquina

149. Extração de recurso de áudio

150. Modelo de tradução automática

151. Modelo de classificação de gênero

152. Crie um vídeo 3D com Python e aprendizado de máquina.

153. Reconhecimento de entidade nomeada

154. Análise de bate-papo em grupo do WhatsApp

155. Traduzir idiomas usando Python

156. Projetos Covid-19 com aprendizado de máquina

157. Projetos de aprendizado profundo com aprendizado de máquina

158. Projetos de sistema de recomendação com aprendizado de máquina

159. Projetos de análise de sentimento com aprendizado de máquina

160. Projetos de classificação para aprendizado de máquina

161. Projetos de regressão para aprendizado de máquina

162. Projetos de chatbot com Python

163. Projetos de aprendizado de máquina sobre previsão do futuro

Segue a mesma lista em inglês, o que pode facilitar a busca de muitos que já estão habituados com os nomes.

Machine Learning Projects for Beginners

1. Stock Price Prediction

2. Data Science Project on President Heights

3. Data Science Project on Birth Rate Analysis

4. Data Science Project on Time Series

5. Data Science Project on Area and Population

6. A Complete Machine Learning Project Walkthrough

7. Text Summarization

Advanced Machine Learning Projects

1. House Price Prediction

2. Real-Time Face Mask Detection

3. Named Entity Recognition

4. Number Plate Detection

5. IPL Analysis with Python

6. Gold Price Prediction

7. Object Detection

8. Highest-Paid Athletes Analysis

9. Text Generation

10.  Spelling Correction with Python

11.  Income Classification

12.  Language Translation Model

13.  Resume Screening

14.  Sign Language Classification

15.  Online Shopping Intention Analysis

16.  Network Graph Analysis

17.  Keyword Extraction

18.  Amazon Best Selling Books Analysis

19.  Covid-19 Cases Prediction for Next 30 Days

20.  Gender Classification

21.  Flower Recognition

22.  Air Quality Index Analysis

23.  Pneumonia Detection

24.  Employee Attrition Prediction

25.  Hand Gesture Recognition

26.  Face mask Detection

27.  Market Basket Analysis using Apriori Algorithm

28.  Breast Cancer Detection

29.  Earthquake Prediction Model

30.  Outlier Detection

31.  Heart Disease Prediction

32.  Plastic Users Analysis

33.  Chatbot with Machine Learning

34.  Next Word Prediction Model

35.  Age and Gender Detection with Python

36.  Autocorrect Keyboard with Python and Machine Learning.

37.  Machine Learning in 5 lines of code.

38.  Deepfake Detection with Machine Learning.

39.  Predict US Elections with Python.

40.  Fake Currency Detection with Machine Learning.

41.  Predict Tinder Matches with Machine Learning.

42.  Image Segmentation

43.  Title Generator with Python.

44.  Pencil Sketch with Python.

45.  OpenAI Gym in Machine Learning

46.  Covid 19 Analysis.

47.  Analyze ILP Matches.

48.  Barcode and QR code Reader with Python

49.  Extract Text From PDF with Python.

50.  Predict IPL Winner 2020.

51.  Predict Car Prices.

52.  Analyze Call Records.

53.  Create an API with Python.

54.  Send Custom Emails with Python.

55.  Colour Recognition with Machine Learning.

56.  Create a 3D Video Animation.

57.  Graph Algorithms in Machine Learning.

58.  Image Features Extraction.

59.  Rainfall Prediction with Machine Learning.

60.  Classify Nationalities with Machine Learning.

61.  Fraud Detection with Machine Learning.

62.  Topic Modeling with Python

63.  Named Entity Recognition

64.  WhatsApp Group Chat Analysis

65.  Translate Languages Using Python

66.  Network Security Analysis

67.  Bar Chart Race with Python

68.  Keyword Research with Python

69.  Face Detection with Python

70.  Emotion Detection Model

71.  Telegram Bot with Python

72.  Handwriting Recognition

73.  Visualize a Solar System with Python.

74.  Hate Speech Detection Model

75.  Build Instagram Filters with Python.

76.  Contact Tracing with Machine Learning

77.  Deploy a Chatbot with Python into a Web Application

78.  Summarize Text with Machine Learning

79.  Language Classification with Machine Learning.

80.  OTP Verification GUI with Python

81.  Create an Audiobook with Python

82.  Titanic Survival Analysis

83.  Image Recognition with PyTorch

84.  Gender Classification Model

85.  Daily Births Forecasting

86.  Binary Search Algorithm

87.  Galaxy Classification with Machine Learning

88.  Time Series with LSTM Model

89.  Image Classification with TensorFlow

90.  Predict Weather with Machine Learning

91.  Create a Package with Python

92.  Computer Vision with Python

93.  Diamonds Analysis with Python

94.  Text Classification with TensorFlow

95.  Image Segmentation with Python

96.  Ridge and Lasso Regression

97.  Predict Fuel Efficiency

98.  ABC Analysis with Python

99.  Lung Segmentation with Machine Learning

100. RFM Analysis with Python

101. Build Neural Network with Python Code

102. Genetic Algorithm with Python

103. Predict Migration with Machine Learning

104. Analyze Healthcare Data

105. NLP For Other Languages

106. Data Science Project on Text and Annotations

107. Data Science Project on — Handwritten Digits

108. Data Science Project on- Support Vector Machines

109. Data Science Project — Stock Price Prediction with Machine Learning

110. Data Science Project on — Classification of Text

111. Data Science Project on-Extracting HOG Features

112. Data Science Project on — Amazon Products Reviews Sentiment Analysis with Machine Learning

113. Data Science Project — Email spam Detection with Machine Learning

114. Data Science Project — Heart Disease Prediction with Machine Learning

115. Data Science Project — Movie Recommendation System

116. Data Science Project — Student Performance Analysis with Machine Learning

117. Data Science Project on FIFA Analysis with python

118. Data science project — Fake News Classification

119. Data Science Project — DNA Sequencing with Machine Learning

120. Data Science Project — Book Recommendation System with Machine Learning

121. Data Science Project — Bitcoin Price Prediction with Machine Learning

122. Machine Learning Project — Artificial Neural Networks

123. Algorithmic Trading Strategy with Machine Learning and Python

124. Movie Reviews Sentiment Analysis -Binary Classification with Machine Learning

125. Data Science Project — Supermarket Sales Analysis

126. Data Science Project — GDP Analysis

127. Data Science Project — Predict Customer Churn with Python and Machine Learning

128. Data Science Project — San Francisco Crime Analysis

129. Machine Learning Project — Human Activity Recognition using Smartphone Data

130. Credit Card Fraud Detection with Machine Learning

131. Weather Forecasting with Machine Learning

132. SMS Spam Detection with Machine Learning

133. Covid-19 Detection with Machine Learning and AI

134. Customer Segmentation with Machine Learning

135. Employee Turnover Prediction with Machine Learning

136. Predict Diabetes with Machine Learning

137. Image Classification with PyTorch

138. Time Series Forecasting with ARIMA Model

139. Natural Language Processing on WhatsApp Chats

140. Fake News Detection Model

141. Image Classification with Artificial Neural Networks

142. Binary Classification Model

143. Data Augmentation with Deep Learning

144. Next Word Prediction Model.

145. Image Segmentation

146. XGBoost Algorithm in Machine Learning

147. Face Landmarks Detection

148. Image Filtering with Machine Learning

149. Audio Feature Extraction

150. Machine Translation Model

151. Gender Classification Model

152. Create a 3D Video with Python and Machine Learning.

153. Named Entity Recognition

154. WhatsApp Group Chat Analysis

155. Translate Languages Using Python

156. Covid-19 Projects with Machine Learning

157. Deep Learning Projects with Machine Learning

158. Recommendation System Projects with Machine Learning

159. Sentiment Analysis Projects with Machine Learning

160. Classification Projects For Machine Learning

161. Regression Projects for Machine Learning

162. Chatbot Projects with Python

163. Machine Learning Projects on Future Prediction

 

Contato

 

Adaptado de https://medium.com/coders-camp/180-data-science-and-machine-learning-projects-with-python-6191bc7b9db9

Escrever um comentário (0 Comentários)

Inteligência de decisão: o novo Business Intelligence

Sistemas e estratégias de BI estão sendo aumentados com IA e machine learning para fornecer contexto de tomada de decisão

As plataformas de Business Intelligence (BI) estão evoluindo. Ao adicionar inteligência artificial e machine learning, as empresas estão transformando data dashboards e business analytics em plataformas de suporte para decisões mais abrangentes. Esse movimento em direção à “inteligência de decisão” vê sua combinação sofisticada de ferramentas cada vez mais incorporada aos fluxos de trabalho corporativos, quando e onde os tomadores de decisão mais precisam delas.

“Inteligência de decisão é a capacidade da empresa de processar grandes quantidades de dados para tomar decisões”, diz Nicole France, Analista da Constellation Research. “É a mesma coisa que a inteligência de negócios faria, mas acessível em toda a empresa”.

Alguns dos exemplos mais visíveis de inteligência de decisão em ação são os mecanismos de recomendação, que usam analytics para prever quais produtos os consumidores achariam mais apropriados ou quais filmes eles deveriam assistir em seguida. Ferramentas como essas fornecem contexto e opções pertinentes para ajudar as pessoas a tomar melhores decisões, diz France, acrescentando que dashboards e analytics das ferramentas tradicionais de BI ainda são valiosas, mas a inteligência de decisão é mais acessível e relevante.

“Para as pessoas na linha de frente, o contexto é importante”, diz ela. “E há um grau de complexidade que é difícil de acertar. O objetivo é apresentar as coisas de uma forma clara e fácil de entender, para que as pessoas possam entender algumas análises complexas e tomar uma decisão rapidamente”.

O caso para inteligência de decisão

A pandemia de Covid-19 acelerou as transformações digitais em quase todos os setores da economia global - e a IA está cada vez mais no centro disso. Mais de 95% das empresas pesquisadas pela 451 Research consideram a IA importante para a transformação digital - e 65% dizem que é muito importante.

De acordo com a pesquisa, divulgada no final de janeiro, a adoção de IA aumentou 9 pontos percentuais no ano passado nos EUA em comparação com o ano anterior, com apenas 28% das empresas dizendo que desaceleraram as iniciativas de IA como resultado da pandemia.

E um campo-chave onde a IA está se popularizando é o Data & Analytics. De acordo com uma pesquisa de 2021 com desenvolvedores de software e líderes de TI do RealBI, 41% das empresas viram um aumento nas solicitações de acesso a dados e analytics, sendo um dos principais motivos para permitir que os usuários tomem decisões baseadas em dados. Além disso, a pesquisa mostrou um maior interesse em incorporar o machine learning em analytics software ou dashboards, com quase 16% planejando adicionar a tecnologia em um futuro próximo, contra 6% das empresas que o fazem atualmente.

Tal como a adição de IA ou machine learning a uma plataforma de inteligência de negócios permite que ela evolua para uma plataforma de inteligência de decisão, fornecendo contexto, previsões e recomendações quando e onde o tomador de decisão precisar.

De acordo com o Gartner, mais de um terço das grandes organizações terão analistas praticando inteligência de decisão até 2023.

A empresa de pesquisa define “inteligência de decisão” como uma estrutura que permite aos líderes de dados e analytics projetar modelos de decisão e processos no contexto de resultados de negócios e comportamento. Na prática, isso significa que a inteligência de decisão usa analytics para ajudar funcionários, clientes ou parceiros de negócios a tomar decisões, oferecendo-lhes dados, análises e previsões quando e onde precisam.

À medida que a inteligência de decisão se torna uma parte central dos processos de negócios, as decisões são tomadas de forma mais rápida, fácil e econômica do que antes.

Casos de uso para inteligência de decisão

A segurança cibernética é uma área em que as pessoas precisam tomar decisões com base em grandes quantidades de dados em movimento rápido, com muito risco potencial para suas empresas. Aqui, a IA e o ML podem ajudar os analistas de segurança a tomar melhores decisões, como mostra a empresa de rede Cato Networks.

“Usamos IA e ML intensivamente para várias atividades na Cato”, diz Avidan Avraham, Líder da Equipe de Pesquisa da empresa. “Por exemplo, construímos um modelo de reputação que usa todas as informações que temos sobre um domínio ou endereço de IP. Com base em dados de rede interna e dados de inteligência de código aberto, ele prevê a probabilidade de ser malicioso”.

Isso significa que os analistas que caçam ameaças podem priorizar suas investigações, diz ele.

Cato construiu sua própria tecnologia para fazer isso, usando o Amazon Elastic MapReduce para treinar seus modelos. A empresa já usa o sistema há mais de um ano, diz Avraham, com bons resultados e um baixo índice de falsos positivos. “Ele está incorporado ao fluxo de trabalho de nossos analistas”, diz ele. “Antes de construirmos essa tecnologia, costumávamos fazer a análise manualmente, então, obviamente, é um processo muito mais rápido agora”.

A inteligência de decisão também pode ajudar as empresas a serem mais consistentes. Considere, por exemplo, um funcionário do banco que toma uma decisão de aprovação de um empréstimo.

“O que acontece em muitos casos quando indivíduos estão envolvidos é que cada indivíduo tem uma formação diferente”, diz Anand Rao, Sócio e Líder Global de IA da PricewaterhouseCoopers.

Existem maneiras pelas quais as empresas tentam alcançar consistência, como com treinamento, mas fatores externos ainda entram em jogo. Se um agente de crédito está tendo um dia ruim, por exemplo. Aqui, as ferramentas de inteligência de decisão podem fornecer contexto e recomendações para ajudar a criar mais consistência nos processos de negócios.

Os aplicativos de inteligência de decisão em outros domínios corporativos, incluindo gerenciamento de relacionamento com o cliente e ferramentas de vendas, também estão crescendo - e não é surpresa, dada a promessa de emparelhar inteligência humana com IA para aumentar o processo de tomada de decisão.

Maria Korolov, CIO (EUA)

https://cio.com.br/tendencias/inteligencia-de-decisao-o-novo-business-intelligence/

Escrever um comentário (0 Comentários)

Como os gerentes de projetos podem usar analytics para melhorar resultados de negócios

BI no PMO

Aqui está o que você precisa saber para se tornar mais experiente em dados e gerar melhores resultados de projetos

Com as taxas de falha do projeto permanecendo problemáticas, muitos gerentes de projeto estão recorrendo aos dados para obter ajuda. O uso adequado dos dados pode eliminar as suposições da tomada de decisões e fornecer suporte tangível que os gerentes de projeto podem usar para orientar suas equipes. Os dados também podem provar o valor ao ajudar os gerentes de projeto a agendar trabalho, alocar recursos, aumentar a eficiência, reduzir custos e gerenciar riscos de forma mais eficaz.

O principal meio pelo qual os gerentes de projeto potencializam os dados é o uso de business intelligence e business analytics. Business intelligence (BI) é uma combinação de software e processo usado para coletar, armazenar e analisar big data de várias fontes e para converter esses dados em informações úteis. O BI é considerado uma forma descritiva de data analytics, pois enfoca a alavancagem de dados passados ​​e presentes para colher insights sobre o que aconteceu ou o que está acontecendo atualmente em um determinado processo. O BI dá às empresas e escritórios de gerenciamento de projetos (PMOs) acesso a métricas em tempo real para dar suporte à tomada de decisões melhor e mais rápida e para obter maior visibilidade em projetos, processos e seus resultados.

Business analytics (BA), por outro lado, é considerado preditivo, pois se concentra no “porquê” para ajudar a fazer previsões mais informadas sobre o futuro. Com o BA, os dados são analisados para prever melhor os desafios e se adaptar para fornecer melhores resultados.

PMOs com visão de futuro estão reconhecendo a necessidade de que as decisões e ações do projeto sejam apoiadas por dados factuais sólidos. Tornar-se um gerente de projeto verdadeiramente orientado por dados significa intensificar seu jogo em todos os aspectos do planejamento e execução do projeto - especialmente quando se trata de alocar e gerenciar recursos escassos, mas valiosos.

Aqui está um pouco de como a integração de data analytics nas práticas de gerenciamento de projetos pode beneficiar muito os resultados do projeto.

Combinar, alocar e agendar recursos

O gerenciamento de recursos é uma área complicada para gerentes de projeto porque os recursos costumam ser escassos e estão sempre mudando, tornando difícil planejar e alocar o uso de recursos em qualquer projeto, muito menos quando vários projetos competem por recursos. Os dados são essenciais para a tomada de decisões eficazes sobre a disponibilidade e alocação de recursos. O sucesso dos projetos depende da capacidade de combinar habilidades, alocar os melhores recursos e programar os recursos disponíveis.

Ter acesso a dados de projetos anteriores e atuais permite que os gerentes de projeto aloquem melhor os recursos para os projetos atuais e planejem melhor os futuros. Ao coletar e analisar dados em um só lugar, os gerentes de projeto podem identificar quais recursos estão sendo subutilizados ou superutilizados, permitindo que eles mudem os recursos quando necessário e agendem de acordo.

As empresas que usam planilhas autônomas do Excel em vez de ferramentas de BI integradas a seus conjuntos de gerenciamento de projetos geralmente estão em desvantagem. As ferramentas integradas de BI podem não apenas reduzir as chances de a equipe ser superutilizada e, portanto, esticada além de seus meios e possivelmente exaurida, mas também podem ajudar a garantir que os cronogramas de agendamento de projetos sejam realistas e identificar os fatores de risco que podem se tornar obstáculos para atingir esses cronogramas. Os gerentes de projeto podem usar dados para desenvolver KPIs de gerenciamento de recursos, como indicadores de conflitos de recursos ou conclusões de tarefas no prazo.

Aumentar a eficiência

O BI pode ajudar os PMOs a descobrir e melhorar fluxos de trabalho internos complicados ou eficiências baseadas em tecnologia, alertando os gerentes de projeto sobre mudanças que precisam ser realizadas para melhorar como as partes interessadas e as equipes de projeto se conectam, trabalham juntas e se comunicam. Ao descobrir e lidar com as ineficiências, as equipes de projeto podem se concentrar em trabalhos de maior valor e entrega de projetos mais rápida.

É apenas sendo capaz de reunir dados sobre os processos existentes e ineficiências que os gerentes de projeto podem identificar gargalos e outros obstáculos baseados em processos e abrir um caminho para a mudança. O BI pode isolar processos ineficazes ou ineficientes e melhorar a eficiência geral da tomada de decisões. Também ajuda a desenvolver KPIs, como tempo planejado versus tempo real gasto em tarefas, erros humanos ou o número de solicitações de mudança.

Gerenciar riscos

Os riscos podem vir de muitas formas diferentes e de fontes internas e externas. A ameaça que um risco pode representar pode ter um impacto menor ou maior nos projetos, em um programa inteiro ou em um portfólio. Muitas empresas permanecem no modo reacionário quando se trata de risco e conformidade, em vez de se antecipar aos riscos potenciais usando ferramentas de BI.

O gerenciamento de risco e conformidade é uma das áreas mais críticas onde o BI pode desempenhar um papel fundamental na identificação de problemas. Os dados fornecem aos gerentes de projeto informações concretas que podem isolar muitos tipos de riscos de projetos anteriores e atuais e permite que repensem suas estratégias de gerenciamento de risco para ir além de serem reativos.

Fazer uso de ferramentas de BI e BA

A chave para obter insights acionáveis é determinar os tipos de dados necessários para tomar decisões essenciais - especialmente em tempos de incerteza. É essencial avaliar cuidadosamente os recursos das ferramentas de BI e BA para garantir que forneçam aos PMOs insights em tempo real relevantes para apoiar o projeto e as metas de portfólio da sua empresa. Aqui estão alguns recursos importantes a serem procurados.

Ter uma infinidade de recursos de BI e BA embutidos ou integrados com ferramentas de gerenciamento de projeto não deve ser uma prioridade; em vez disso, é mais benéfico se concentrar em ter os recursos certos, incluindo:

  • A capacidade de importar e atualizar dados com o clique de um botão
  • A capacidade de ter uma análise "e se" integrada para o planejamento e gestão de recursos
  • Capacidades de modelagem e previsão
  • Painel de controle personalizável em tempo real
  • Acesso seguro baseado em função
  • Gráficos e tabelas visuais claras
  • Interface simples de arrastar e soltar
  • Recursos de detalhamento fácil
  • Integração perfeita com outros aplicativos
  • Acesso móvel seguro para quem trabalha remotamente
  • Opções de autoatendimento rápidas e fáceis para todas as funções de usuário
  • Capacidade de compartilhar informações facilmente com outras partes interessadas
  • Recursos de relatórios

Embora os recursos e capacidades de BI possam diferir dependendo do projeto, os gerentes de projeto devem garantir que os recursos essenciais para melhorar os resultados de seus projetos específicos sejam enfatizados em suas estratégias de dados. Isso permitirá que eles aproveitem a inteligência de negócios de maneira eficaz para obter percepções acionáveis, seja uma questão de gerenciamento de recursos, avaliação de riscos ou estabelecimento de processos e comunicação mais eficientes.

quero saber mais

 

 

https://cio.com.br/carreira/como-os-gerentes-de-projetos-podem-usar-analytics-para-melhorar-resultados-de-negocios/

Escrever um comentário (0 Comentários)

A importância do Business Intelligence (BI) para as Logísticas que desejam inovar

Logística 4.0

"O BI trata das perguntas conhecidas e das nossas pré-concepções com relação aos dados. Ao passo que Big Data se envolve com um universo de novas possibilidades e perguntas que ainda não conhecemos."

Antes de evoluirmos no tema acho importante que entendam a diferença entre BI (Business Intelligence) e BIG DATA, qual a finalidade de cada um delas, pois no passado eu mesma já havia me confundido e achava que tudo era a mesma coisa.

O BI trata das perguntas conhecidas e das nossas pré-concepções com relação aos dados. Ao passo que Big Data se envolve com um universo de novas possibilidades e perguntas que ainda não conhecemos.

Ambas possuem grande importância e devem ser bem entendidas para que as empresas possam aproveitá-las da melhor forma, agregando, alcançando os valores e resultados desejados aos negócios.

A solução de BI tem foco na coleta, organização, transformação e disponibilização de dados estruturados para a tomada de decisão, além de permitir a análise preditiva de forma rápida e assertiva às organizações. Fornecem insights e tendências aos gestores, para assim poderem criar diretrizes eficientes e eficazes para o alcance dos resultados empresariais almejados.

Já o Big Data, em geral, pouco se preocupa com a exatidão que é fornecida em um sistema de BI (exceto em casos específicos ou onde a utilização de sensores se faz presente).

O Big Data foca no processamento dos dados em busca de correlações e descobertas. Por isso no Big Data nem sempre saberemos os motivos para as correlações existentes, pois poderá ser algo jamais concebido ou estudado.

E está aí o diferencial do Big Data: mostrar caminhos e correlações antes desconhecidos nos grandes volumes de dados, em tempo hábil, para que as empresas obtenham vantagens competitivas.

Conseguiram entender? Então vamos adiante.

Neste artigo irei destacar apenas o BI e o tema BIG DATA ficará para um próximo artigo.

Preparei um vídeo produzido pela Pixar onde editei, para que você entenda as resistências e as objeções que os gestores impõem para implantação de um sistema de BI. Bora assistir.

Falar em BI não é algo mais tão inovador quando falamos em logística, hoje já existem diversos softwares e plataformas que extraem estes números dos sistemas e disponibilizam os famosos dashboards.

A questão central que acho interessante abordar neste artigo é a visão limitada sobre estes dados, não permitindo que as empresas de logísticas pensem um pouco além de indicadores de desempenho, capacidade de ocupação dos veículos e volume de avarias.

A verdade é que um sistema de BI coleta dados de vários setores de uma empresa, como:

  • Dados corporativos tradicionais de sistemas operacionais
  • Dados sobre tráfego e clima vindos de sensores, monitores e sistemas de previsão
  • Diagnóstico do veículo, padrões de condução e informações de localização
  • Previsões de negócios financeiros
  • Dados de resposta à publicidade
  • Dados do padrão de navegação de sites
  • Dados de mídias sociais
  • Dados de Serviço de Atendimento ao cliente
  • Dados de Recursos Humanos (custos com hora-extras, funcionários afastados, índice de satisfação dos colaboradores, etc).
  • Dados comerciais como quantidades de propostas x fechamentos
  • Dados de portaria para acesso a empresa.

Não cruza-los é o mesmo que dar um tiro no pé. Não lideramos mais uma empresa seguindo a intuição mas sim com dados que irão te ajudar na tomada de decisões e validações de processos.

De que adianta ter ótimos indicadores de desempenho em entregas, se seu SAC continua recebendo reclamações, se o seu colaborador falta demais, se seu custo logístico é muito alto, se você tem um alto giro de seus colaboradores, se sua área comercial traz muitas propostas e poucos fechamentos, você sabia que as tendências do mercado são trazidas pelo canal receptivo e pelos seus agentes comerciais?

Muitos gestores ainda preferem ouvir o que vem de fora, o chamado “Canto da sereia”, agentes externos oportunistas com foco neles mesmos e naquilo que podem trazer, extrair o que interessar e depois irem embora. Dentro da logística isso acontece todo santo dia.

Enfim, repito e volto â dizer, as respostas não estão fora de sua empresa mas sim dentro e só depende de sua interação com seus dados e seus colaboradores para extrair.

A integração de todos os setores é essencial para a saúde de uma empresa, funciona da mesma forma que um corpo humano, não adianta o coração estar saudável, se outros órgãos estiverem comprometidos, pois gradativamente vai gerando danos ao coração.

O segredo para o sucesso de um projeto de BI é a possibilidade de se analisar uma grande quantidade de dados variáveis, estruturados ou não estruturados com grande precisão e velocidade, proporcionando inteligência gerencial à empresa.

É muito comum que, ao implantar BI, os gestores tenham algumas dúvidas quanto à sua efetividade e ao modo como isso deverá ocorrer.

Afirmo que, para se ter sucesso com o BI, existem dois pontos-chave que devem ser observados: o planejamento e a ferramenta tecnológica adequada.

Enquanto um planejamento bem estruturado ajuda a reduzir o tempo e os custos de implementação, a escolha de uma ferramenta tecnológica adequada melhora a eficácia das decisões tomadas e gera melhores resultados.

COMO TER SUCESSO COM O BI?

Acredito que existam 3 pontos importantes a serem considerados, sendo eles:

ORGANIZAÇÃO

Assim como em qualquer projeto, o primeiro passo é a organização de todos os requisitos para se implementar uma estratégia. Essa organização se dá durante a fase de planejamento.

Veja os principais pontos que deverão estar contemplados em seu planejamento:

Definição dos requisitos funcionais: consiste em determinar quais serão os KPIs (indicadores de desempenho de todos os departamentos) que serão disponibilizados pelas aplicações de BI, em que momento e em qual formato;

Definição dos utilizadores: podemos dividir os utilizadores, geralmente, em três grupos, sendo eles os utilizadores gerais de relatórios; os produtores e analistas que avaliam os dados; e os gestores que determinam os objetivos e estratégias;

Integração e qualidade dos dados: a integração dos dados de maneira correta e sem perder a qualidade é um dos pontos chave para um projeto de BI de sucesso. Verificar os sistemas operacionais onde a ferramenta poderá rodar e o modo que os dados serão acessados é fundamental;

Escolha do software correto: utilizar versões de teste para verificar qual software se adequa melhor às necessidades de sua empresa é fundamental, pois evita que a empresa contrate um software muito robusto e mais caro sendo que não utilizará todas as funcionalidades oferecidas;

Limitação do tempo de execução: ao definir um prazo para a execução de um projeto, você demanda uma concentração mais intensa dos setores responsáveis envolvidos. Essa limitação de dados evita a postergação das ações necessárias para a implantação do projeto;

Manutenção do projeto: o mercado e a realidade das empresas mudam constantemente — o que também ocorre com as aplicações de BI. Atualização e otimização constante das aplicações é uma obrigatoriedade.

DESIGN E LAYOUT DA APLICAÇÃO

Além dos requisitos técnicos para a escolha de uma aplicação, deve-se observar as questões de design e layout da mesma.

A aplicação deverá disponibilizar os dados de forma simples e de fácil compreensão e possibilitar a geração de relatórios com padrões de tipografia e paleta de cores, a fim de proporcionar uma experiência de usuário (UX) completa e objetiva.

Os gráficos gerados nos relatórios deverão obedecer a uma lógica de cores e apresentar as informações em ordem cronológica ou respeitar uma sequência de eventos ou de processos, a fim de facilitar a compreensão de quem for interpretá-lo.

Além desses pontos, é importante que a aplicação disponibilize diversos tipos de gráficos específicos para cada tipo de análise, como matriz SWOT, matriz BCG, para a análise de produtos ou serviços e um quadro de análise de benchmarking.

IMPLEMENTAÇÃO

Após a confecção de todo o planejamento e a definição da aplicação BI a ser utilizada, é chegado o momento da implementação do projeto em si. Esse processo demanda algumas etapas básicas:

Mobilização dos envolvidos: a participação ativa de todos os diretores e gestores na implantação do BI é essencial, principalmente da alta gestão, pois somente assim o projeto terá sucesso;

Levantamento de informações: aqui deverão ser levantadas quais informações deverão ser disponibilizadas para os gestores para análise de desempenho e de mercado;

Mapeamento das fontes de dados: este mapeamento tem por objetivo identificar de onde as informações serão retiradas e analisar a viabilidade das informações solicitadas no passo anterior. Essas fontes de dados vão alimentar a aplicação de BI.

Construção do sistema: a construção é, sem dúvidas, a parte mais longa de todo o processo de implementação de um projeto de BI. A extração de dados, análise de qualidade, carga e testes são realizadas nesta etapa.

Disponibilização aos usuários: esta é uma etapa muito delicada, pois é nela que o produto resultante é entregue. Aqui deverá ocorrer, ainda, toda a parte de treinamento e capacitação dos usuários, para que possam utilizar a ferramenta em seu dia a dia para a tomada de decisões.

QUAIS ERROS EVITAR?

Mesmo com um planejamento bem estruturado e uma execução bem-feita, podem existir alguns erros que devem ser evitados de qualquer maneira. Veja alguns dos erros mais comuns que ocorrem durante o processo de implementação de um projeto de BI:

FALTA DE PLANEJAMENTO NA IMPLEMENTAÇÃO

Ao implementar uma ferramenta de BI, é essencial que se defina quais são os objetivos da empresa ao fazer esse investimento e de que modo essa solução vai contribuir para alcançar os resultados esperados.

Para que tudo funcione, deve-se ter uma visão sistêmica da empresa, compreendendo como cada recurso contribui e alimenta o Business Intelligence.

SUBUTILIZAR O SISTEMA

Um dos erros mais comuns é subutilizar o sistema. Isso ocorre quando a equipe não foi devidamente apresentada à ferramenta e desconhece sua importância e funcionamento.

Esse despreparo resulta em dados dispersos em diversas planilhas ou outros sistemas. É muito comum que o recurso mais utilizado do BI seja o botão “Exportar para o Excel”, e cada usuário passa a construir suas próprias análises em Excel ao invés de incorporá-las ao BI.

NÃO DAR ATENÇÃO À QUALIDADE DOS DADOS NA ORIGEM

Uma das premissas para um BI de sucesso é qualidade dos dados de origem porém, muitas vezes, os sistemas não possuem regras básicas de validação e tornam o processo de carga para o BI um grande desafio. Campos em branco, com valores incorretos ou grafados de maneira diferente podem distorcer as análises.

O BI vai mostrar exatamente o que está na base e, para que a análise possa ser utilizada em sua plenitude, na maioria dos projetos é necessário ajustar dados em sua origem.

FALTA DE INTEGRAÇÃO COM OUTRAS FERRAMENTAS

O BI deve se comunicar com todas as plataformas utilizadas para coletar, processar e analisar dados de uma série de fontes, como o TMS, ERP, CRM, Gestão de Projetos ou outras ferramentas utilizadas por sua empresa.

Uma atenção especial deve ser dada aos conectores disponíveis em cada ferramenta, algumas tem poucas opções, outras irão cobrar um valor extra para cada tipo de conexão, forçando o usuário a exportar dados manualmente para depois carregar no BI.

Ao não integrar essas ferramentas ao BI, ocorre a perda da capacidade de confrontação de dados e de análise dessas informações.

Para que seu projeto de BI tenha sucesso, é obrigatório ter um profissional devidamente qualificado, que entenda o funcionamento da ferramenta para auxiliar no processo de integração das informações.

Esse profissional vai verificar se as pessoas estão utilizando o sistema corretamente, se a equipe compreende a importância do processo de análise de dados e se são necessários mais treinamentos.

Por onde devo começar a gerar um BI na logística?

Além de todos os benefícios do BI dentro de sua empresa de logística permitindo tomada de decisões mais assertivas, que foram descritos acima, existem também aqueles benefícios que são vistos como diferencial competitivo que deverão alimentar o BI de seus clientes.

Sim, alimentar seus clientes com informações de fácil acesso, rápidas e confiáveis serão cada vez mais a bola da vez neste mercado.

Alguns operacionais ainda resistem a estas mudanças pois a falta de informação esconde suas ineficiências, mas até quando?

Enviar dados que apoiem o planejamento de seus clientes permitirão que o relacionamento operacional tenha mais amadurecimento e ai sim a Logistica 4.0 começa a fazer sentido para muitos empresas que acreditam que esta realidade ainda está distante no Brasil.

E como fazer isso?

Mapeie e revise seus processos operacionais

Lembre-se que quanto menos interferência humana menor será a possibilidade de erros.

Gradativamente migre para um modelo digital, as empresas com processos obsoletos, que insistem em modelos completamente analógicos e manuais de gestão, podem ter dificuldade para se adequar a esse novo momento.

Para o gestor que deseja potencializar os resultados da sua empresa, é muito importante que seus processos de trabalho sejam conhecidos e revisados, buscando otimizar e automatizar o máximo possível.

Invista na comunicação com seus embarcadores e clientes

Não dá mais para aceitar a troca de informações de pedidos, ocorrências de transporte e situação dos fretes por e-mail, e o lançamento manual de informações em sistemas, então a dica é apostar em tecnologias como EDI (Troca Eletrônica de Dados), e Webservices(é uma solução utilizada na integração de sistemas e na comunicação entre aplicações diferentes), que são capazes de integrar os embarcadores, transportadoras e demais parceiros (inclusive os fornecedores e clientes), evitando retrabalho, reduzindo custos, evitando erros e acelerando o trabalho.

Integração é a palavra-chave para adotar as práticas logísticas mais modernas na sua empresa. Essa conectividade facilita a gestão e permite controle completo sobre os processos.

Conecte a sua frota e motoristas e agregados à base em tempo real

Se um veículo não está seguindo o trajeto planejado, o gestor pode intervir imediatamente sobre frota. Dessa mesma forma, se um determinado motorista estiver apresentando médias de consumo de combustíveis ruins, ou padrões de condução inadequados, a tecnologia dos rastreadores integrados aos sistemas de gestão de frota permite avaliá-los individualmente ou enquanto grupo por meio das análises e estatísticas.

Caso qualquer anormalidade ocorra na operação de transporte, como uma falha mecânica ou um roubo de carga, as novas tecnologias permitem não só a notificação à empresa e o monitoramento dos veículos, mas também o desligamento remoto do caminhão.

Invista em Gestão de Pátios e registro de ocorrências

Se você é um operador logístico que conta com uma operação nervosa, onde seus clientes cobram agilidade nas cargas e descargas, e registro de ocorrências com alto nível de informação, no mercado já existem soluções que além de entender quanto tempo um veículo fica parado dentro de seu CD, e possível também formalizar ocorrências de avarias e faltas em tempo real.

Estruture armazéns inteligentes e mais eficientes

Concordo que falar em armazéns automatizados e algo ainda um pouco distante da logística brasileira, mas utilizar o BI para entender deslocamento de empilhadeiras, quantidades de movimentações, isso é bem real e ao seu alcance, avaliar melhor em quais posições o produto que mais giram e guardar de forma mais segura aqueles com maior valor agregado parece óbvio mas pouco avaliado na doidera dos armazéns brasileiros.

Utilizar empresas para realizar inventários através de drones, é outra realidade que começa a fazer parte do mercado logístico bem lentamente, mas que não permite somente agilidade mas uma economia de mão-de-obra e interrupção nas operações.

Crie uma rotina e cultura de gestão baseada em dados

Diante do grande volume de dados e informações que as novas tecnologias e sistemas disponibilizam, surgem as condições para que os gestores interessados possam analisar as suas empresas por diversos aspectos, e a partir disso tomar as melhores decisões, reduzindo custos, melhorando prazos de entrega e atendendo cada vez melhor os seus clientes. Mas para isso é fundamental que seja criada na empresa a cultura de seguir uma rotina de analisar os relatórios e dados gerados pelos sistemas com frequência.

Já deu para perceber que a Logística 4.0 é aliada de um trabalho eficiente e pode potencializar inclusive a segurança de seus colaboradores, processos e bens, certo? A novidade não é uma previsão para o futuro: é uma realidade inegável que precisa ser tão bem aproveitada quanto possível pelo gestor moderno.

Acredito ter demonstrado a importância que os dados possuem dentro da logística, e que se especializar para analisa-los será o grande diferencial entre as empresas.

Não resista àquilo que pode mudar o futuro da logística brasileira e principalmente o da sua empresa.

Quem estiver na frente destas análises descobrirá o melhor caminho e se tornará cada vez mais competitivo para brigar com aqueles que optaram em adotar a inovação como principal instrumento para atingir resultados.

Até a próxima.

e se eu quiser criar meu BI com software livre?

 

 

https://revistamundologistica.com.br/blog/rosana/-a-importancia-do-business-intelligence-(bi)-para-as-logisticas-que-desejam-inovar

Escrever um comentário (0 Comentários)

Como o Spotify migrou todo seu data center para o Google Cloud

"E o que as empresas podem aprender com isso; Migração foi complexa, mas agora desenvolvedores têm mais liberdade e maior escala."

O Spotify iniciou a utilização da Google Cloud Platform (GCP) em 2016, com investimentos de US$ 450 milhões em três anos. Para o Google, a plataforma de streaming de músicas tornou-se um cliente referência, não apenas pela sua marca e escala, mas também pela reputação como uma empresa centrada em engenharia e orientada por dados.

O Spotify, desde então, fechou ambos os data centers instalados nos EUA e estará livre de infraestrutura on-premise até o final do ano, após uma migração complexa.

Por que migrar?

Ramon van Alteren, diretor de engenharia do Spotify, comenta que, se pensar na quantidade de esforço necessário para manter a capacidade de computação, em armazenamento e rede de uma empresa global que atende a mais de 170 milhões de usuários, isso é uma quantidade considerável de trabalho.

Além de evitar que desenvolvedores se preocupem com provisionamento e manutenção de infraestrutura, a empresa também queria aproveitar algumas das inovações do Google Cloud, especificamente o data warehouse em nuvem BigQuery, Pub/Sub para envio de mensagens, além da ferramenta DataFlow para processamento em lote e streaming.

Migração de serviços: passo a passo

O plano de migração atual foi formulado em 2015 e dividido em duas partes: serviços e dados. A migração de serviços se concentrou na transferência de quase 1,2 mil microsserviços de data centers para o Google Cloud Platform.

Os três principais objetivos durante a migração, de acordo com van Alteren, foram minimizar a interrupção do desenvolvimento do produto, terminar o mais rápido possível para evitar o custo e a complexidade da execução em um ambiente híbrido, além de garantir que o Spotify não tivesse nenhum serviço executando em seus data centers.

Uma das primeiras ações que as empresas fizeram foi construir uma pequena equipe de migração de engenheiros e criar uma visualização real time de todo o estado de migração para que os engenheiros pudessem se assistir para ver o andamento do projeto.

Essa visualização parece um conjunto de bolhas vermelhas (data center) e verdes (Google Cloud), com cada bolha representando um sistema e o tamanho da bolha representando o número de máquinas envolvidas.

A migração de serviços começou com as dependências de mapeamento, já que a arquitetura no Spotify significa que cada microsserviço depende de 10 a 15 pessoas para atender uma solicitação do cliente. Isso significa que uma migração “big bang”, em que tudo para, não era uma opção, pois os clientes esperam um tempo de atividade constante do serviço.

Em vez disso, as equipes de engenharia do Spotify receberam a tarefa de transferir seus serviços para a nuvem em um sprint de duas semanas, período em que pararam efetivamente qualquer desenvolvimento de produto. Isso também permitiu que essas equipes começassem a avaliar sua arquitetura e desativassem qualquer coisa desnecessária.

Uma coisa que o Google Cloud fez especificamente para o Spotify durante a migração é a opção Virtual Private Cloud (VPC). “Isso permite que você construa de forma semelhante a uma rede interna que conecta vários projetos e eles podem cruzar conversas”, disse van Alteren.

Isso permite às equipes terem um bom controle de suas demandas e, com isso, elas conseguem fazer o que precisam e, se algo dá errado, é somente no setor, e não em toda a empresa.

Uma vez que a migração estava em fluxo total, a equipe de migração central começou a induzir secretamente falhas nesses sistemas de nuvem, registrando como as equipes reagiram na nova arquitetura.

“Isso ajudou a garantir que os sistemas de monitoramento fossem adequadamente estendidos para a nova implementação na nuvem, se uma equipe não percebesse, Finalmente, tivemos esta cartilha em que eles poderiam começar a usar os modos de falha na nuvem que talvez não tivessem no passado”, explica Peter Mark Verwoerd, arquiteto de soluções do Google.

Em maio de 2017, cada sprint de migração foi concluído e o tráfego estava sendo encaminhado para o Google Cloud. Então, em dezembro de 2017, o Spotify atingiu 100% dos usuários e já havia fechado o primeiro dos quatro data centers. Desde então, o segundo data center foi fechado e os dois últimos, ambos na Europa, serão encerrados até o final deste ano.

Migração de dados

Devido a um gráfico de dependência altamente complexo, foi um desafio mover 20 mil tarefas diárias de dados para o GCP sem causar falhas no fluxo, de acordo com Josh Baer, ​​gerente sênior de produtos para a infraestrutura de machine learning do Spotify.

O Spotify começou avaliando a possibilidade de uma migração ‘big bang’. Porém, mesmo com um link de rede de 160 gigabits por segundo, seriam necessários dois meses para copiar os dados do cluster do Hadoop para a infraestrutura do Google. “Nós não seríamos um grande negócio se estivéssemos perdidos por dois meses”, acrescentou ele.

A melhor estratégia, então, foi copiar os dados. “À medida que você transfere seu trabalho para o GCP, você copia suas dependências e, em seguida, pode transportar seu trabalho”, explicou. “Então, se você tem consumidores downstream, talvez tenha que copiar a saída do seu trabalho de volta ao nosso cluster local para que eles não sejam quebrados. Como a maior parte da migração de dados durou de seis a 12 meses, estávamos executando muitos desses empregos para preencher lacunas em nossa árvore de dependência.

Lições aprendidas

Max Charas, engenheiro de nuvem do Google, alerta: “essa estratégia de migração é muito personalizada para o Spotify, então, quem quiser fazer algo assim, pode parecer muito diferente.”

A empresa aprendeu algumas lições importantes com a migração. A primeira delas foi a preparação. “Nós nos preparamos provavelmente dois anos antes da migração e cada migração levou cerca de um ano. Tentamos criar um caso de uso mínimo para mostrar os benefícios da mudança para o GCP, mas isso não poderia ser uma coisa pequena para mostrar a verdadeira valor”, diz Charas.

Em segundo lugar foi o foco. Para Van Alteren, é realmente incrível o que pode ser feito com uma equipe de engenheiros focada em uma única coisa. Isso também ajudará os parceiros de negócios, que ficam mais felizes com um curto período de tempo sem desenvolvimento de produto em vez de um longo período de tempo.

A terceira foi a construção de uma equipe de migração dedicada para atuar como proteção para ajudá-los a saber o que precisam, transmitir experiências e aprendizados passados ​​e apenas os recursos de que precisam.

A última foi “sair do híbrido o mais rápido possível – todos esses trabalhos de cópia são caros e complexos”, disse Baer.

Resultados

Com a migração, os desenvolvedores estão com mais liberdade e maior escala, sem sacrificar a qualidade do serviço. “Qualidade de serviço é algo que medimos diligentemente e não houve degradação”, disse Van Alteren. “Os benefícios incluem nosso canal de entrega de eventos, que carrega os pagamentos de royalties para detentores de direitos. Quando mudamos para a nuvem, o pipeline transportava no pico de 800 mil eventos por segundo e agora carregam três milhões por segundo”, finaliza.

serviços de migração de dados

 

 

http://idgnow.com.br/ti-corporativa/2018/08/01/como-o-spotify-migrou-todo-seu-data-center-para-o-google-cloud/

Escrever um comentário (0 Comentários)

Generalista ou especialista? Kubrick parece ter a resposta.

Stanley Kubrick

Que tipo de executivo contratar: Generalista ou Especialista?

Se estivesse vivo, Stanley Kubrick teria completado 90 anos no dia 26 de julho. Muito já se falou sobre este gênio do cinema e seu legado mas, talvez, poucos tenham feito paralelo entre a carreira do artista e o mercado corporativo. Em termos gerais, uma das grandes questões de recursos humanos é definir que tipo de executivo contratar: generalista ou especialista? Kubrick parece ter a resposta.

O diretor filmou apenas 13 longas-metragens, sendo que pelo menos sete de seus filmes se tornaram obras-primas reconhecidas e plenamente aceitas no meio artístico. Outras películas, no todo ou em parte, também se destacaram como pérolas cinematográficas. O mais instigante, de fato, é a variação de gênero que o cineasta vivenciou na profissão. Em Dr. Fantástico, fez comédia de humor negro. Spartacus, épico. 2001, expandiu o alcance da ficção. Uma odisseia no espaço! Com O Iluminado, intensificou o horror psicológico. Explorou a guerra em Nascido para Matar. Refinou a história policial em O Grande Golpe. É como se um executivo de marketing percoresse segmentos tão distintos como a indústria bélica, o comércio exterior, a inteligência artificial, hotelaria, recrutamento e seleção, loterias etc. Sempre com resultados bem acima da média.

Kubrick abordou diversos gêneros do cinema
assim como um executivo generalista atua em
diferentes segmentos de mercado.

E não é apenas na diversidade de estilos que Kubrick foi um generalista. Nos sets de filmagens atuava em outras frentes – fotografia, roteiro, efeitos especiais, montagem e produção. Também participava da direção de arte, da cenografia e da sonorização, com controle absoluto, embora os créditos fossem associados a outros profissionais atentos à sua batuta. Estudo conduzido por pesquisadores da Columbia Business School e da Tulane University com 400 executivos confirmou a vantagem daqueles que trazem um repertório mais amplo e eclético, com experiências diversas, tendendo a assumir posições de liderança mais rapidamente. No jargão do RH, Kubrick tinha habilidades multifuncionais (cross-functional skills).

Outra pesquisa, encomendada pela Microsoft e realizada pela International Data Corporation – IDC, empresa global de inteligência de mercado e consultoria, após avaliar 76 milhões de vagas de empregos, cravou que as oportunidades mais promissoras de ascensão profissional entre 2016 e 2024 exigirão competências multifuncionais em detrimento de habilidades técnicas e específicas, mesmo em áreas como TI, direito e saúde. A consultoria ainda apontou que nas 10 principais habilidades do profissional do futuro estão a orientação para o detalhe (detail oriented). O generalista não é um “superficialista”.

Relatórios de importantes universidades e
empresas americanas apontam as
competências multifuncionais como
habilidades essenciais do profissional do
futuro.

Mais uma vez Kubrick corresponde. Como um cientista de dados que cruza estatísticas, amostras e informações diversas do negócio para orientar estratégias mercadológicas, o cineasta americano ficou conhecido por seu perfeccionismo. Nas filmagens de 2001: Uma Odisseia no Espaço, desenvolveu a centrífuga que simulava os movimentos e efeitos de gravidade zero em uma estação espacial, muito similares ao que acontece na Estação Espacial Internacional construída 30 anos depois. O clássico que completou 50 anos este ano e que está sendo homenageado pelo Museu da Imagem e do Som – MIS em São Paulo, recebeu o Oscar de efeitos especiais. Para gravar Barry Lyndon, filme de época com locações na Inglaterra, encontrou na NASA a lente que permitiria a filmagem sob à luz de velas, com resultados estéticos jamais vistos e ainda não superados. A obra é uma referência estilística, inspirada em quadros do século XVIII, e transposta para as telas de cinema com rara beleza. Em O Iluminado utilizou os recursos da recém-inventada steadicam para obter planos-sequências fascinantes como nas cenas dos corredores e no labirinto do hotel Overlook.

Sempre na vanguarda da tecnologia, Kubrick
já abordava a inteligencia artificial, com o
computador HAL 9000, muito antes da
massificação deste conceito.

O reconhecimento pela gestão de atores é outro diferencial. Ao gravar inúmeras tomadas até a perfeição, Kubrick extraiu atuações icônicas de Peter Sellers, Sue Lyon, Malcolm McDowell, Jack Nicholson, Shelley Duvall e R. Lee Ermey. O desejo de trabalhar com o mestre fez o casal Tom Cruise e Nicole Kidman, o mais cobiçado na década de 90, dedicar-se exclusivamente ao filme De Olhos Bem Fechados, rejeitando qualquer outra oferta durante as gravações.

O ponto máximo da meticulosidade de Kubrick, no entanto, foi o projeto Napoleão. Embora não tenha sido viabilizado por limitações orçamentárias, o trabalho de pré-produção é considerado o mais perfeito já realizado. O livro Napoleon: The Greatest Movie Never Made (editora Taschen), sem tradução em português, de Alison Castle, revela o envolvimento do diretor na intensa pesquisa das locações, cenários, figurinos, elenco, cronologia dos fatos, textos históricos, cinematografia e no desenvolvimento dos argumentos e do roteiro para fundamentação da obra, o que gerou conteúdo e uma base de dados com aproximadamente 17 mil imagens relacionadas à era napoleônica. A intenção do filme, inacabado, fez a fama do diretor, completo.

Como um cientista de dados, Kubrick reuniu
conteúdo e 17 mil imagens para filmar a vida
de Napoleão Bonaparte.

A diversidade é um conceito poderoso e para profissionais generalistas, o conhecimento humano, em qualquer substância, forma ou amplitude é matéria-prima. Soma-se liberdade criativa e ousadia e tem-se o ambiente perfeito para o desenvolvimento de novos produtos, serviços e soluções nos negócios. O relatório da IDC ainda traz que a criatividade (creativity), também compõe o perfil do futuro executivo. Kubrick buscou nas outras artes elementos para enriquecer a sua própria. Escreveu seus filmes a partir da literatura de Nabokov, Clarke, Burgess, Thackeray, King, Schnitzler; orquestrou suas tramas com Strauss (Johann e Richard), Beethoven, Schubert, Haendel, Penderecki, Liszt, Ligeti; inspirou-se nas pinturas de Gainsborough, Reynolds, Chardin, Watteau, Chadowiecki para estabelecer o virtuosismo estético definitivo na sétima arte. Ganhou o reconhecimento dos estúdios, em especial da Warner Bros., que lhe conferia autonomia em troca do prestígio do diretor.

Kubrick buscou na diversidade de outras artes
elementos para enriquecer a sua própria.
Literatura, música e pintura abrilhantaram
a sua obra.

Conquistou a independência. Cativou o público. Impressionou a crítica. Generalista!





https://www.linkedin.com/pulse/generalista-ou-especialista-kubrick-parece-ter-resposta-rodrigo-costa

Escrever um comentário (0 Comentários)

10 posições de TI mais difíceis de serem preenchidas

Dos profissionais de segurança cibernética aos engenheiros de DevOps, o relatório 2018 State of the CIO revela quais funções de TI continuam com demanda bem superior à oferta.

Melissa Person-Ashforth

CEO da Melissa International

"Encontrar e reter talentos de TI exige que as organizações pensem fora da caixa e se concentrem menos em encontrar a contratação perfeita e mais em manter os candidatos e funcionários atuais engajados, motivados e ansiosos para aprender novas habilidades. Para mim, claro, é sobre encontrar as habilidades certas, mas também saber que tratar bem meus funcionários, compensando-os e recompensando-os, significa que mantê-los felizes."

O relatório State of the do CIO de 2018 concluiu que, após anos de discórdia, a TI e as áreas de negócio estão finalmente aprendendo a trabalhar juntas para conduzir iniciativas estratégicas e atingir metas compartilhadas. Para fazer isso, é claro, as organizações precisam de talento em TI - mas alguns papéis são mais difíceis de preencher do que outros.

Os trabalhos relacionados à tecnologia de ponta, como Inteligência Artificial, Machine Learning e Realidade Virtual são tão especializa dos que os programas educacionais não conseguem acompanhar as demandas de pipeline, enquanto outros, como nuvem, desenvolvimento de aplicativos e software corporativo, simplesmente têm demanda excessiva.

Encontrar e reter talentos de TI exige que as organizações pensem fora da caixa e se concentrem menos em encontrar a contratação perfeita e mais em manter os candidatos e funcionários atuais engajados, motivados e ansiosos para aprender novas habilidades, diz Melissa Person-Ashforth, CEO da Melissa International.

"Para mim, claro, é sobre encontrar as habilidades certas, mas também saber que tratar bem meus funcionários, compensando-os e recompensando-os, significa que mantê-los felizes", diz Ashforth. “Todos fazendo um esforço conjunto para ir além, aprender mais e adquirir novas habilidades.”

A cultura também é uma peça importante do quebra-cabeça, diz Sherri Douville, CEO da Medigram, uma startup em rápido crescimento. Douville diz que a cultura é a chave para garantir que ela possa atrair, contratar e reter as pessoas certas. “Não temos um grande problema em contratar para funções de TI, mas nossa cultura é uma grande parte disso. Não estamos tentando transformar ou mudar uma cultura existente, o que pode dificultar nas empresas existentes e tradicionais”, diz ela.

O salário, é claro, ainda está no topo da lista de atratividade dos candidatos, e a contratação para qualquer função de TI exige acompanhar as taxas do mercado. Mas concentrar-se em benefícios, vantagens e cultura pode ajudá-lo a atrair, contratar e reter até mesmo para os papéis de TI mais difíceis de preencher.

Com base no relatório de 2018 sobre o estado do CIO, aqui estão os 10 principais empregos de TI mais difíceis para os empregadores preencherem, para que você saiba onde gastar esforços extras ao contratar.

1. Gerenciamento de segurança/risco

Mais de um terço (39%) dos entrevistados afirmam esperar dificuldades em encontrar as qualificações adequadas para preencher cargos de segurança e gerenciamento de risco, de acordo com nossa pesquisa. “As proteções de segurança cibernética devem ser sua prioridade número 1, sempre”, diz Person-Ashforth. “Muitas vezes vemos clientes evitando isso até que tenham uma brecha, o que é um erro”.

Além disso, conforme regulamentações como o GDPR entram em vigor, essa área, que já apresenta escassez de talentos, passa a ser uma das prioridades mais importantes para os departamentos de TI.

2. Inteligência de Negócios (BI) e Análise de Dados

Trinta e seis por cento dos entrevistados dizem que o preenchimento de funções de Business Intelligence e Analytics continua difícil. Saber como coletar, processar, analisar e atuar sobre as vastas quantidades de inteligência de negócios e dados que fluem para as empresas a cada ano é uma área estratégica crucial; e um grande diferencial competitivo em uma economia digital.

3. Integração na nuvem

Vinte e um por cento dos entrevistados dizem esperar dificuldades para preencher as funções de integração na nuvem. E à medida que mais organizações mudam de implantações locais para as implantações em nuvem, a necessidade de talentos de integração na nuvem continuará a crescer. Seja integrando com sistemas legados ou migrando entre provedores de nuvem, é um conjunto de habilidades críticas em TI.

4. Desenvolvimento de aplicativos

Seja no desenvolvimento de aplicativos para uso corporativo interno para promover objetivos de negócios ou no desenvolvimento de aplicativos para clientes externos, essa área é outra função crítica de TI que enfrenta escassez de talentos qualificados. Algumas organizações estão se voltando para o desenvolvimento de códigos para ajudar a aliviar a pressão; 20% dos entrevistados disseram que terão problemas para preencher as funções de desenvolvimento de aplicativos.

5. Software empresarial (ERP, CRM)

Para grandes empresas, as soluções de ERP e CRM são necessárias para garantir eficiência, permanecer dentro dos orçamentos e, é claro, comunicar-se efetivamente com os clientes, e 19% dos entrevistados dizem que terão dificuldade em preencher as funções de software corporativo. “Essa área é especialmente importante para nós, já que estamos usando o Salesforce para gerenciar e medir a eficácia das campanhas, além das plataformas de Marketing Digital de próxima geração”, diz Person-Ashworth.

6. Inteligência Artificial (IA)

Há um grande burburinho em torno da IA ​​ultimamente, especialmente em como ela pode ajudar as empresas a serem mais eficientes e as maneiras pelas quais ela afetará ou eliminará certas funções. Talento habilidoso para a construção, monitoramento e manutenção de IA estará em alta demanda à medida que esta tecnologia evoluir e amadurecer. Atualmente, 18% dos entrevistados antecipam que as funções de IA serão difíceis de preencher.

7. DevOps / Processos Ágeis

Hoje em dia, toda empresa é uma empresa de TI, e a grande maioria está envolvida em algum tipo de desenvolvimento de software para realizar seus negócios, seja sua única missão operacional ou apenas alavancando software para aprimorar sua linha principal de negócios. DevOps e Agile são metodologias que tornam mais fácil e rápido criar e implantar software, mantendo uma aderência próxima aos requisitos do cliente e do usuário final em todas as etapas de desenvolvimento. Dezessete por cento dos entrevistados dizem que será difícil preencher os papéis DevOps/Agile.

8. Internet das Coisas (IoT - dispositivos conectados, sensores)

Dezesseis por cento dos entrevistados dizem que terão dificuldade em preencher papéis relacionados à Internet das Coisas (IoT), incluindo papéis que envolvem a construção, programação, monitoramento e manutenção de dispositivos conectados, sensores e tudo o mais que envolve IoT.

9. Arquitetura Corporativa

As regras de transformação e disrupção digital no mundo da tecnologia atual e a arquitetura corporativa podem ajudar de forma proativa e holística na resposta de uma empresa a essas forças, identificando a estrutura e a estratégia existentes da empresa e planejando como direcioná-la melhor. Essas funções são críticas para qualquer empresa voltada para o futuro que queira permanecer líder de mercado, mas 16% dos entrevistados dizem que terão dificuldade para preencher as funções de arquitetura corporativa.

10. Serviços em nuvem

Seja público ou privado, os serviços em nuvem permitem acesso onipresente a pools de compartilhamento de recursos configuráveis ​​e personalizáveis ​​oferecidos aos clientes pela Internet. Com cada vez mais organizações acessando um ou mais serviços em nuvem, a demanda por talentos com experiência no fornecimento, solução de problemas e gerenciamento de serviços em nuvem está aumentando. Atualmente, 16% dos entrevistados dizem que terão dificuldades para preencher os papéis relacionados aos serviços na nuvem. Fonte:http://cio.com.br/gestao/

 

Escrever um comentário (0 Comentários)