Big Data para iniciantes: o que é, importância e desafios.

 

 

O que é Big Data?

Os dados do mundo estão aumentando em níveis exponenciais. Essa enorme quantidade, pouco estruturada, advindas de fontes não tradicionais é o Big Data.

A Wikipedia define:

“Big Data é um termo amplo para conjuntos de dados muito grandes ou complexos que aplicativos de processamento de dados tradicionais são insuficientes. Os desafios incluem análise, captura, curadoria de dados, pesquisa, compartilhamento, armazenamento, transferência, visualização e informações sobre privacidade.”

O infográfico da Big Data | Visual.ly é um bom começo para quem ainda não entendeu muito bem:

(clique para ampliar)

Por que é importante?

Essa explosão de dados e a análise deles tornou-se crucial para inovar e obter vantagem competitiva. Ela gera diversos insights, de formas impossíveis anteriormente. A indústria do Big Data está pronta para crescer de US$ 25 bilhões, em 2015, para mais de US$50 bilhões em 2017.

 

E afeta praticamente todas as outras indústrias:

 

O que a análise de Big Data pode fazer?

Antes as empresas se baseavam principalmente em dados transacionais armazenados de forma ordenada, porém isso mudou. Uma enorme quantidade é gerada diariamente, de diversas fontes: desde um e-mail, até um tweet. Anteriormente as organizações descartavam seus dados. Atualmente, o investimento em armazenamento e análise tornou-se acessível e obrigatório.

Por exemplo, existem 12 terabytes de tweets por dia. Depois de filtrar os ruídos, estes dados podem gerar diversos insights sobre o comportamento do consumidor.

Gráfico: comunidades diferentes interagindo.

 

Quais são os desafios?

- Filtrar os dados: Quais são confiáveis? Quais são atuais?

- Processamento em tempo real: Alguns dados podem perder total valos depois de algumas horas.

- Lidar com o grande volume e variedade dos dados. 

 

Leia nosso artigo sobre os 5Vs do Big Data.

 

Esse texto foi originalmente escrito por Amar Prabhu, na rede social Quora.