Big Data: O Que É, Como Funciona, Para Que Serve e Como Aplicar?

Big data é o termo para um grande número de dados, dispostos de maneira estruturada ou não, que impactam os negócios no cotidiano da empresa.

Você consegue imaginar a quantidade de informações – traduzidas em bytes – geradas diariamente no mundo?

Mas a quantidade de dados não é o foco exato, e sim a maneira como a empresa trabalha com eles.

O big data pode ser utilizado para obter insights que dão a oportunidade à corporação de tomar as melhores decisões.

Todas as manifestações ocorridas (das atualizações das redes sociais às transações corporativas) são dados valiosos para as empresas.

Essas informações, se coletadas, podem ajudar as empresas a entender melhor o comportamento de seus clientes e até prever possíveis crises.

Existem muitas maneiras de se posicionar diante da concorrência. Além do big data, você também deveria se informar sobre:

• 11 Ferramentas de Marketing Para Análise da Concorrência Que Vão Aumentar as Visitas do Site
• Como Fazer Análise de Mercado para Identificar Concorrentes e Superá-los
• Como Escolher Palavras-Chave Certas Analisando a Concorrência

Ter acesso a tais informações antes mesmo da concorrência, é a oportunidade de manter a empresa bem posicionada no mercado.

E nesse momento entra o trabalho desenvolvido também com o big data.

Quer entender tudo sobre o big data e gerar à sua empresa a oportunidade de estar sempre alguns passos à frente?

Então acompanhe este artigo pois nele você vai encontrar:

• O Que é Big Data? Significado
• Importância do Big Data Para as Empresas Atualmente
• Qual o Potencial do Big Data?
• Exemplos de Big Data: Grandes Empresas Que Usam Big Data Atualmente
• Como Aplicar o Big Data em Sua Empresa?
• Diferenças Entre Big Data X Business Intelligence
• Os V’s do Big Data
• Estruturação dos Dados
• Tipos de Dados do Big Data Analytics
• Como Funciona o Big Data e Sua Coleta de Dados
• Vantagens de Utilizar os Insights Descobertos
• Como Trabalhar com Big Data?
• Quais as melhores ferramentas de Big Data disponíveis?

Boa leitura!

O Que é Big Data? Significado

Entender o que é big data é entender o quanto a amplitude do termo pode ser equiparada com o seu significado.

Imagine o mundo em que vivemos hoje.

A quantidade de bytes gerados diariamente podem ser comparados a anos e anos de dados criados pela humanidade toda há algum tempo.

A diferença dos dados gerados, quando comparados ao petróleo ou ao ouro, é que o segundo e terceiro são palpáveis.

Isso só para que você tenha uma noção do valor de tais dados.

A coleta de dados pode auxiliar nas vendas, no desenvolvimento de artigos e em diversos outros pontos que merecem a atenção das empresas.

Mas engana-se quem acredita que dados só começaram a ser gerados após a tecnologia.

Somos uma fonte infindável de dados, desde o momento em que levantamos. Na realidade, até mesmo quando dormimos.

O big data passou a existir porque a tecnologia tornou possível coletar esses dados e começar a utilizá-los em benefício próprio.

Se for para eu explicar exatamente o seu significado, eu coloco dessa forma:

Big data é a denominação para a gigante quantidade, velocidade e variedade de dados que precisam ser coletadas, porém superam as características dos sistemas informáticos atuais.

E não é difícil compreender que não temos sistemas que podem coletar os dados na mesma velocidade que são gerados.

Segundo informações do ano de 2017 fornecidas pela União Europeia, são gerados 1.700 bilhões de bytes a cada minuto.

Consegue imaginar isso?

História do Big Data

Não é possível definir exatamente o início do big data, pois existem algumas versões para ela, no entanto existe uma mais difundida.

No início da década de 1990, a NASA começou a utilizar o big data para descrever uma enorme quantidade de dados.

Porém, eram dados muito complexos.

Chegavam a desafiar as capacidades da computação utilizada na época.

Então captura, desenvolvimento e análise necessitavam de incontáveis ciências para se tornarem possíveis.

A ideia era conseguir, através desses softwares, filtrar e organizar dados brutos que sem a possibilidade de tais leitura, eram apenas informações perdidas.

Sem a existência do big data, os dados eram trabalhados através de fórmulas matemáticas, probabilidade e estatística (análise de frequência, estudo de médias móveis e série histórica).

Os dados eram coletados manualmente e contava com a desvantagem de uma capacidade reduzida das possíveis variáveis.

No entanto, a evolução é um fato, e com a tecnologia não é diferente.

Se tornou possível, através de poderosos e modernos processadores, coletar os dados em grande velocidade e transformá-los em informação através de softwares igualmente capazes.

Para se ter uma ideia, existe uma solução do big data que torna possível a coleta de algoritmos complexos e de origens diversas.

Esses dados são relacionados e geram conclusões que podem influenciar as novas diretrizes das corporações.

Hoje o big data disponibiliza soluções para a Fazenda Pública, por exemplo, para evitar a sonegação de tributos.

Também é possível encontrar suas soluções na metereologia, prevendo fenômenos naturais ou no varejo, visando entender o comportamento dos clientes.

Vamos entender melhor sua utilização nos dias de hoje.

Para que serve o Big Data?

Se levarmos ao pé da letra, toda atividade humana está sujeita à influência dos dados em massa.

Casos de sucesso não faltam para ilustrar o quanto ele é útil para as empresas, levando a verdadeiros saltos de qualidade.

Talvez o mais emblemático deles seja o do Google, provavelmente a maior ferramenta para a aplicação e uso de BD que se conhece.

O maior motor de busca desde sempre aplica tecnologias de Big Data para identificar o que é mais relevante nas buscas dos usuários, por exemplo.

Também a usa para definir critérios de exibição de anúncios e para dar sugestões de pesquisa.

Ou seja, pelo exemplo do Google, fica claro que praticamente não há limites para o Big Data, que pode servir para incontáveis propósitos.

Como funciona o Big Data?

Outra possível definição para Big Data é como o conjunto de processos que faz com que dados de diversas fontes sejam aproveitados.

Afinal, como vimos, houve um tempo em que até a NASA percebeu que, sem um aparato tecnológico adequado, de pouca utilidade seriam esses dados.

Em outras palavras: dados em massa não significam muita coisa quando não se consegue operacionalizar seu uso.

Por isso que, tomando como base as opiniões de especialistas, considero que o funcionamento do Big Data se apoia em três pilares.

Vamos ver a seguir quais são?

Integrar

Um dos maiores desafios para as empresas que ainda não fazem uso do BD é integrá-los aos seus sistemas e rotinas.

Segundo a Gartner, dados de má qualidade representam prejuízos anuais de até US$ 15 milhões.

Isso significa que as empresas não sabem de onde coletar os dados, têm dificuldades em integrá-los efetivamente às suas atividades ou ambas as coisas.

Quando digo integrar, isso vale para os sistemas da própria empresa.

Se cada setor trabalhar de forma isolada, como silos, não se pode esperar que os dados gerem insights ou soluções, certo?

Só a partir de uma integração efetiva, de preferência por meio de um ERP, o Big Data pode de fato servir aos propósitos empresariais.

Gerenciar

Coletar e integrar os dados é apenas o primeiro passo.

No dia a dia, é preciso investir também na sua gestão, de forma que eles sejam utilizados estrategicamente.

Um bom começo nesse sentido é integrar os dados que a própria empresa gera.

Com certeza você já deve ter um bom repositório de dados aí, à disposição, só esperando para ser utilizado.

Uma vez que você os identifique, colete e integre aos seus sistemas, precisará então implementar mecanismos de gestão para que eles se mantenham atualizados e úteis.

Analisar

No estágio mais alto das práticas de uso de Big Data estão os processos de análise.

É aqui que dados brutos e sem sentido ganham forma, transformando-se em conhecimento.

Também é por esse pilar que as empresas se baseiam ao investir em tecnologia, até porque sem ferramentas digitais, não há como utilizar dados em massa.

Um exemplo desse tipo de solução é o consagrado software Tableau.

Líder do Quadrante Mágico da Gartner há alguns anos, ele é hoje a solução mais efetiva para gestores de empresas que pretendem utilizar o Big Data para orientar suas decisões.

Mas há também outras ferramentas tão boas quanto o Tableau, como é o caso do Microsoft BI e o Datapine.

Qual a importância do Big Data para as empresas atualmente?

Produzimos hoje uma quantidade de dados sem precedentes.

Até 2025, estima-se que a humanidade deve dobrar a geração de dados alcançada em 2021, que foi de incríveis 79 zettabytes, o equivalente a 79 milhões de terabytes.

Não surpreende que a maior parte desses dados não seja aproveitada, como revela um estudo da Forrester (em inglês), segundo o qual, até 73% das informações geradas hoje “evaporam” nas empresas.

“Mas Neil, para que uma empresa ia querer usar tanta informação?”

Perguntas assim eu sempre respondo lembrando da UPS.

Líder mundial em entregas, a empresa se viu diante do problema do consumo excessivo de combustível.

O que ela fez então para resolvê-lo?

Recorreu ao Big Data.

Com a ajuda do software Watson, da IBM, ela analisou o imenso volume de dados gerado pelos seus veículos no mundo todo.

O resultado foi uma descoberta inusitada: para poupar gastos, as rotas deveriam ser traçadas evitando ao máximo conversões à esquerda.

Essa simples medida, implementada graças ao uso do Big Data, permitiu uma economia anual de milhões de litros de combustível e a redução de emissões de gases equivalente a 20 mil carros de passeio por ano.

Por isso, vejo o BD como uma descoberta no mesmo patamar da navegação e do tear mecânico na primeira revolução industrial.

Ou seja, trata-se de um marco histórico.

Veja na sequência o que as empresas ganham ao incorporar os dados em massa nas suas atividades.

Determinar a causa de falhas, problemas e defeitos em tempo real

Vamos utilizar aqui alguns exemplos do dia a dia.

No ensino, um acompanhamento orientado por dados permite a identificação de alunos em risco e assegurar a progressão individual de cada um.

Também permite a implementação de um sistema que ofereça uma melhor avaliação e apoio aos professores e diretores.

Na saúde, todo o registro de pacientes, planos de tratamento, informações sobre prescrições e muitas outras características necessitam da eficácia com que as informações são transmitidas.

A possibilidade de gerir essa imensa quantidade de dados de maneira organizada e rápida é o que garante insights para a melhoria do tratamento.

No varejo, a coleta de dados permite saber como trabalhar com o público, visando até mesmo novas atitudes e movimentações do mesmo.

O big data também possibilita a coleta de dados sobre cada cliente, aproximando a relação e, como já sabemos, a relação com o cliente é o que mantém a vida da empresa.

Também é possível observar sua utilização em aplicativos que mostram determinado local em tempo real, como o caso do Google Earth.

Ou até mesmo em aplicativos que mostram quais são os melhores caminhos para fugir de congestionamentos.

Detectar comportamentos fraudulentos antes que eles afetem sua organização

O valor principal do big data não vem dos dados coletados de forma bruta, mas sim da capacidade de interpretação que ele possibilita.

E entre seu grande valor, está o de possibilitar o acompanhamento de absolutamente tudo o que acontece dentro de uma empresa.

Não apenas com os colaboradores, mas também com os clientes.

Imagine se determinado número de clientes começam a deixar de cumprir com suas obrigações de pagamentos pelos produtos ou serviços adquiridos.

A incapacidade de coletar tais informações colocaria a corporação em perigo real, até mesmo uma possível falência.

Ter um acompanhamento atualizado periodicamente permite à administração saber quem está inadimplente, cortando facilidades imediatamente e diminuindo parte dos riscos financeiros da empresa.

Otimizar as rotinas

A indústria de transformação deu saltos de qualidade gigantescos graças à sistematização das suas rotinas.

Seu modelo de produção em série e de divisão por especialidades foi copiado por empresas de todos os segmentos.

Porém, chegou um ponto em que algumas delas começaram a perceber que esse modelo levava a uma rigidez excessiva nos negócios.

Foi por essa razão que surgiu o Manifesto Ágil, de 2001, quando grandes nomes do setor de TI se insurgiram contra o excesso de burocracia.

O Big Data representa um avanço ainda maior nesse sentido, por permitir a redução da “papelada” e dos processos que não funcionam.

Redução de riscos

Para certos setores, o uso de dados massivos faz toda a diferença para mitigar riscos e ameaças.

Um dos que mais se valem do Big Data nesse sentido é o financeiro, no qual os dados são usados como um verdadeiro escudo contra as fraudes.

É o que aponta um artigo da Universidade de Pavia, na Itália, segundo o qual os dados em massa são fundamentais na modelagem de riscos em instituições financeiras

Orientar as estratégias e ações

Como vimos, a análise de riscos e o processo decisório orientados por dados são muito mais eficazes.

A partir disso, as empresas ganham uma capacidade maior de definir estratégias conforme os desafios do seu tempo.

Em um contexto disruptivo, no qual o próximo concorrente de peso pode estar agora trabalhando na garagem de casa, orientar-se por dados pode fazer toda a diferença.

É a partir das análises preditivas realizadas por softwares com elevada capacidade de processar dados que as empresas podem antecipar ameaças invisíveis.

Assim, elas definem qual será o seu próximo passo, não mais apenas com base nos acontecimentos passados, mas no que está por vir.

Adquirir vantagem competitiva

Raras são as empresas que atuam sem concorrentes em um mercado.

Existem os trustes e cartéis, mas essa é uma realidade apenas das megacorporações.

Para a maioria dos negócios, é preciso navegar em mares tortuosos, repletos de “piratas”.

O Big Data é, nesse aspecto, um tremendo salto para ganhar vantagem competitiva sobre a concorrência, principalmente quando ela é desleal.

Por que o Big Data se tornou tendência

Para responder de forma objetiva e sem enrolação, eu diria que o BD é uma tendência que veio para ficar porque dá resultados.

Dizer que dados são o novo petróleo não é exagero, se considerarmos que há empresas fazendo verdadeiros “milagres” graças à aplicação dos dados em seus negócios.

Porém, esses feitos não têm nada de místicos, quando observamos o que se faz hoje e as tendências que estão ganhando força.

A Inteligência Artificial é uma delas.

Como destaca a Forbes, essa é uma tendência em BD que, junto à automação e ao Machine Learning, está mudando as regras do jogo.

Por aumentar a capacidade humana de ler e interpretar dados, a IA é, sem dúvida, um dos avanços mais notáveis que surgiram a reboque do Big Data.

Qual o potencial do Big Data?

É muito difícil mensurar o potencial do big data. Porque, de certa forma, ele é infinito: depende do alcance da nossa criatividade.

Apesar de gerarmos hoje uma quantidade infindável de dados, as oportunidades de coleta estão em constante expansão.

Atualmente, esses dados são muito usados para monitorar ações e interações de usuários e, assim, reconhecer padrões de comportamento.

É útil para planejar campanhas de marketing, criar novos produtos, posicionar melhor os produtos nas lojas físicas, qualificar a experiência do usuário na loja virtual, entre outras ações.

Mais à frente, vou apresentar exemplos práticos do big data, cases de empresas que aplicaram a tecnologia em seus produtos e serviços.

Antes disso, entenda que o big data tem potencial para melhorar muita coisa:

• Serviços: soluções e atendimento muito mais ágil e preciso em serviços online e também nos físicos, como bancos, lojas e restaurantes
• Produtos: fabricantes podem reduzir a margem de erro no desenvolvimento de produtos personalizados e de nicho
• Infraestrutura: com a coleta e análise de dados, organizações públicas e privadas reconhecem melhor as prioridades de investimento
• Gestão financeira: o processamento de dados é muito útil para otimizar as finanças pessoais, corporativas e públicas
• Meio ambiente: a coleta, processamento e análise de dados leva a menos desperdício e exploração mais sustentável dos recursos naturais.

Crescimento do mercado de TI

O mercado de TI segue a todo vapor e, no Brasil, seu crescimento se traduz na grande oferta de trabalho para profissionais desse segmento.

É o que revela a pesquisa FEEx – FIA Employee Experience, segundo a qual, especialistas em TI recebem 84% mais propostas de trabalho.

Essa ampla oferta é pautada no crescimento do setor, cujo faturamento já bate a casa dos R$ 420 bilhões por ano.

Portanto, quem trabalha com tecnologia e dados terá certamente um futuro promissor, seja como empregado ou tocando o próprio negócio.

Diferenças entre Big Data X Business Intelligence

A business intelligence (BI) e o big data são ações complementares, mas não são a mesma coisa.

Imagine que a BI trabalha um pouco antes do big data, possibilitando ao segundo a coleta dos dados.

Para ficar claro:

Business intelligence foca suas funções na coleta, interpretação e disponibilização de dados para as novas diretrizes das corporações.

Também trabalha com dados existentes, detectando as melhores hipóteses e é muito útil quando trabalhado com perguntas que dispõem de respostas certas.

Por ser mais específico, é mais utilizado nos negócios.

Já o big data trabalha no processamento de dados estruturados ou não, assim como as possibilidades de denominadores comuns após o cruzamento dos dados.

Por contar com essa característica, analisa o que existe e o que ainda está por vir, apontando novos caminhos.

Sua utilização deve ocorrer quando a corporação quer explorar novas possibilidades, padrões e perguntas que ainda podem não ter sido identificadas.

Trabalha em qualquer segmento, como saúde, ensino, varejo, entretenimento, entre outros.

A única função da corporação é saber como coletar tais informações de forma eficaz para tornar possível as análises.

Como as organizações utilizam o Big Data?

Além das aplicações que você acabou de conhecer, vale entender de que forma o BD pode ser útil quando aplicado em diferentes setores de atividades produtivas.

Cabe destacar que o mercado de análise de dados a partir do Big Data deve crescer 13,2%, chegando a US$ 274,3 bilhões em volume de divisas movimentado.

Portanto, quem quiser aproveitar as vantagens competitivas que só o BD pode oferecer, deve antes entender os impactos que ele tem gerado em seu setor.

Na sequência, destaco 5 exemplos para ajudar você a se situar melhor. Acompanhe!

Manufatura

Um dos segmentos mais beneficiados pelo uso intensivo do Big Data é o de manufatura que, nesse caso, equivale à produção em série.

Com dados em massa, a indústria se habilita a definir cronogramas mais precisos de manutenção preditiva, fazendo com que máquinas e equipamentos fiquem menos ociosos.

Também serve para detectar anomalias em peças e componentes antes que eles venham a entrar na linha de montagem, evitando a fabricação de produtos com defeito.

Além disso, também serve para otimizar as operações logísticas, permitindo inclusive prever o tempo de entrega de um ou mais fornecedores.

Varejo

No segmento varejista, o BD já vem sendo usado para analisar e prever o comportamento do consumidor.

Por meio dos dados coletados em transações com cartões, por exemplo, é possível analisar o fluxo de compras e, com isso, extrair insights e fazer recomendações mais precisas.

Assim, a Amazon conseguiu aumentar suas receitas em 29%, explorando apenas as indicações feitas com base nas análises de Big Data.

Isso sem contar que, com BD, é possível fazer previsões de demanda, podendo para isso usar dados extraídos de redes sociais e de navegação web.

Saúde

No segmento de saúde, hospitais e clínicas estão utilizando Big Data para determinar a quantidade certa de profissionais em seus quadros.

Dessa forma, conseguem ajustar a oferta de profissionais à demanda de pacientes, evitando que a mão de obra fique ociosa ou que faltem especialistas.

Pela abordagem em BD, os pacientes passam a ser geradores de dados, o que é feito por meio dos Electronic Health Record (EHR), os registros eletrônicos de saúde.

Nesse tipo de registro, são coletados e armazenados dados como:

• Dados demográficos
• Histórico médico
• Alergias
• Resultados de exames laboratoriais

Serviços financeiros

Para os profissionais que trabalham no mercado financeiro, os dados em massa estão ajudando a fazer análises e previsões com base em tendências políticas e sociais.

Outra aplicação nesse segmento é na detecção e prevenção de fraudes, como acontece nas transações com cartão de crédito.

Dessa forma, é possível identificar padrões de consumo incompatíveis com os do titular do cartão, permitindo que a operadora efetue o bloqueio antes mesmo de uma solicitação.

Além disso, especialistas em investimentos têm usado Big Data para prever riscos, considerando o cenário da economia e outros indicadores financeiros.

Construção

A construção civil também vem utilizando BD para montar projetos com menos custos, antecipando eventuais problemas estruturais até mesmo antes de iniciar a construção.

Também vem sendo usado para reduzir ou eliminar o desperdício de materiais, ajudando assim a minimizar os impactos dos resíduos da construção civil no meio ambiente.

Afinal, segundo o Transparency Market Research, até 2025 a quantidade desse tipo de rejeito deverá dobrar, chegando a um volume de 2,2 bilhões de toneladas.

Não menos importante, Big Data também é um recurso já amplamente utilizado para aumentar a eficiência por meio de sensores conectados a equipamentos e ferramentas.

Essa eficiência se estende às pessoas, já que essas máquinas também podem ser equipadas com sensores que controlam o estado de saúde dos operários.

Tipos de dados do Big Data Analytics

Um dos assuntos mais difundidos no momento é a coleta de dados e a análise possível de se realizar através das soluções do big data.

As corporações que trabalham com gestores com uma consciência maior da importância dessa coleta, já entendem a potencialidade desse tipo de modalidade.

Porém ter consciência não é sinônimo de ter conhecimento, e a coleta de dados acaba se tornando algo complicado para gestores e equipe.

As soluções existentes no processo do big data analytics são sistemas que contam com aspectos técnicos.

Esses aspectos são possíveis de serem observados tanto na coleta quanto na apresentação estruturada e analítica dos dados não estruturados.

Para tornar mais clara a ideia, quando se fala do enorme volume de dados coletados no big data, podemos resumir em quatro simples passos:

• Coleta de dados – Que podem ser realizadas em diversos lugares e logo falo mais a respeito
• Armazenamento de dados – Distribuição em sistemas e servidores, garantindo que para cada informação coletada exista um backup, podendo ser física ou em nuvem
• Organização – Colocar em categorias os dados coletados de forma estruturada, não estruturada e semi-estruturada, facilitando o acesso e a análise
• Análise de dados – Extração das informações e interpretação baseada em conceitos impostos pela empresa até chegar aos dados que realmente importam à estratégia

Dados de redes sociais

Quando se fala nas redes sociais, logo se pensa no relacionamento, branding, promoções e todas as outras maneiras de aproximar empresa e cliente.

Porém as redes sociais podem (e devem) ser utilizadas para muito mais do que firmar a marca.

A coleta de dados através das redes sociais é uma maneira excelente de entender seu público e saber exatamente como chegar até ele.

O monitoramento das redes sociais passou a ser algo muito mais aprofundado e um dos principais pontos de estratégia utilizado por empresas de todos os segmentos.

Então além de proporcionar a interação com seu público, preocupe-se também em encontrar maneiras de se beneficiar das informações dadas pelos clientes de maneira espontânea.

O público está o dia todo gerando centenas de dados, então saiba como utilizar as ferramentas da maneira correta e coletar as informações certas, como por exemplo:

• Mensurar o quanto a marca está engajando o público – Para saber o resultado que está sendo obtido basta avaliar. Estabeleça conexões entre empresa e público para engajar e segmentar, lembrando sempre de reforçar a necessidade de dialogar de maneira adequada, e através do big data é possível entender essa maneira
• Comparação e análise cruzando fatos – Comparar tráfego do site, vendas, investimentos em publicidade e maneiras de interagir com o público são a melhor maneira de compreender se seus investimentos estão sendo ideais, e da mesma maneira, utilize essa capacidade de análise para a mineração e avaliação dos dados
• Antecipar tendências – Essa certamente é a aplicação mais desejada do big data, afinal, qual empresa não quer prever os próximos passos do mercado? Essa atitude poderá informar o comportamento futuro do público, minimizando desperdícios e permitindo agilidade de ações ou até mesmo em tempo real

Os dados podem ser coletados das seguintes formas:

• Cliques em anúncios
• Navegador
• Informações do dispositivo
• Endereço de email
• Reconhecimento facial
• Endereço IP
• Servidor de acesso
• Localização
• Sistema operacional
• Número de telefone
• Histórico de buscas realizadas

Dados de empresas

Independente do tamanho da empresa, é fundamental que ele faça coleta de dados, pois são eles que vão informar se os caminhos escolhidos foram/são positivos ou negativos.

Com essa coleta também é possível saber sobre concorrentes, público-alvo, fornecedores, entre outros, para se manter atento aos novos rumos do mercado.

O embasamento dos dados coletados é o que vai garantir o desenvolvimento de novas estratégias.

O primeiro passo para coletar os dados é uma boa estratégia e em seguida definir o objetivo do projeto.

O objetivo dará sustentação para todo o conhecimento adquirido através das informações coletadas, permitindo uma melhor direção e foco.

Em seguida, escolha o público-alvo a ser analisado, sendo representado por uma pequena amostra, gerando uma boa margem daquilo que se deseja analisar.

Defina a revisão bibliográfica, podendo ser revistas, dados estatísticos, histórico de arquivos, livros e onde mais der um embasamento legítimo.

Também é preciso escolher o método que deve estar ligado ao objetivo a ser conquistado e, por fim, a técnica que será utilizada.

Após a coleta, será feita a análise e interpretação dos dados, que deverão ser disponibilizados em uma linha de raciocínio lógica e sistêmica.

Assim, as conclusões assertivas acontecerão mais naturalmente.

Para coletar os dados, pode-se utilizar os seguintes métodos:

• Método científico – Informações reunidas a fim de provar algum conteúdo ou suposição.
• Método qualitativo – Identificar problemas, resoluções, incongruências, hipóteses, etc.
• Método quantitativo – Identificar opiniões, tendências, características e costumes.

Essas informações podem ser coletadas através de questionários, entrevistas, observações, análise de conteúdos, entre outros.

Dados pessoais

Existem princípios a serem seguidos quanto a coleta de dados pessoais, e a regulamentação sobre isso, no Brasil, ainda está no início.

Novas leis estão sendo criadas e ainda existem muitas dúvidas acerca do tema, tanto por parte das empresas quanto por parte dos clientes.

Para utilizar as melhores práticas, vou deixar aqui algumas etapas que devem ser seguidas para que não haja problemas quanto a essa coleta.

São 4 princípios seguidos no país:

• Transparência – A pessoa precisa confirmar que seus dados estão sendo registrados por alguma corporação de maneira espontânea, como por exemplo um email de confirmação de cadastro em sites, páginas, serviços, etc.
• Consentimento – A pessoa tem o direito de confirmar se deseja que seus dados sejam compartilhados, podemos usar como exemplo os formulários de cadastro, onde o usuário informa os dados e designa como os mesmos devem ser utilizados.
• Acesso e Correção – A pessoa tem direito a remover ou editar seus dados sempre que sentir a necessidade e de maneira gratuita, e o tempo mínimo de retificação dos dados é de sete dias.
• Finalidade específica – A corporação que coleta os dados tem por obrigação garantir aos usuários que seus dados serão utilizados apenas para aqueles fins, sendo proibido o compartilhamento das informações com terceiros.

Se manter dentro das leis que regem a modalidade garante à empresa trabalhar de maneira legal, evitando possíveis problemas judiciais.

Corporações que não cumprem essas leis, podem ter seu banco de dados suspensos, tal qual a permissão para a coleta dos dados.

Mas de qualquer maneira, o bom senso sempre deve ser a primeira regra.

Assim como empresa, você também é usuário, portanto trabalhe da maneira que gostaria que trabalhassem com você.

Fontes disponíveis para o público

Você já ouviu falar em OSINT?

Esse é um termo em inglês – Open Source Intelligence ou Inteligência de Fontes Abertas – utilizado para designar a inteligência para coletar dados disponíveis para o público.

Tais dados são coletados em jornais, revistas e programas de televisão, isto é, em todo o local que o próprio público tenha acesso.

Basicamente existem 3 leis propostas pelo ativista e especialista em políticas públicas David Eaves:

• Se o dado não pode ser encontrado ou indexado na web, ele não existe
• Se não estiver aberto e disponível em formato compreensível para máquinas, ele não pode ser reaproveitado
• Se algum dispositivo legal não permitir sua replicação​, ele não é útil

Apesar de inicialmente essas três regras terem sido utilizadas apenas para os dados governamentais, hoje elas se aplicam ao dados abertos de forma geral.

Um grupo interessado no tema, na Califórnia em 2007, chegou a um consenso sobre a definição dos dados abertos, explicando-os em 8 itens fundamentais:

• Completos – Todos os dados públicos são disponibilizados e não estão sujeitos às limitações válidas de privacidade, segurança ou controle de acesso regulamentadas por estatutos como documentos, bancos de dados, transcrições, gravações, etc.
• Primários – Os dados são publicados da maneira mais fiel possível, passando por pouca ou quase nenhuma edição para melhorar a compreensão, como transformações ou sendo agregada a outros dados
• Atuais – São os dados disponibilizados de maneira rápida, visando preservar o seu valor
• Acessíveis – Os dados são disponibilizados da forma mais democrática possível, visando atingir o maior público e para os mais variados propósitos
• Processáveis por máquina – São dados razoavelmente estruturados que possibilitam um processamento feito através de máquinas
• Acesso não discriminatório – Dados disponíveis a todos, sem que para isso a pessoa que está acessando tenha que se identificar ou registrar
• Formatos não proprietários – Os dados estão disponíveis em um formato que não permite que o controle exclusivo por um indivíduo ou entidade
• Livres de licenças – Dados que não pertencem a direitos autorais, marcas, patentes ou segredo industrial, mas contém restrições razoáveis de privacidade, segurança e controle de quem acessa, gerando permissões na forma regulada por estatutos

Quando um órgão público abre seus dados para o público, disponibiliza ao cidadão o direito de praticar um acompanhamento do controle social.

Ele passa a ter um acesso mais adequado às informações quanto aos gastos mensais da prefeitura da sua cidade, investimentos e outras tantas situações.

Oferece também à sociedade civil um empoderamento social.

A verdade é que o grande benefício das fontes disponíveis para o público é a transparência, afinal, tudo hoje gira em torno da informação que cada um tem para passar adiante.

Como funciona o Big Data e sua coleta de dados?

Você já compreendeu o que é o Big Data, como ele funciona e qual o seu conceito, certo?

Então vamos falar sobre o cruzamento dessas informações.

Os dados coletados são organizados, tratados e analisados para que seja possível traçar um recorte sobre uma realidade específica.

Em outras palavras: esse é o processo que vai transformar dados coletados em informações úteis para você e para a sua empresa.

Por outro lado, a coleta de dados deve obedecer a certos limites legais que, no Brasil, são estabelecidos pela Lei Geral de Proteção de Dados (LGPD).

Além de tornar o ambiente digital mais seguro, ela existe para garantir que dados pessoais não sejam divulgados sem o consentimento de seus proprietários.

Tudo isso é fiscalizado pela Autoridade Nacional de Proteção de Dados (ANPD), que tem poder para aplicar sanções às pessoas e empresas que desrespeitarem a LGPD.

Eu já passei para você alguns locais possíveis de se coletar dados, mas vou mostrar mais alguns:

E-mails

O e-mail – se bem trabalhado – pode ser uma excelente fonte de coleta de dados.

Existem sistemas e ferramentas na internet que enviam por email arquivos contendo dados que seguem uma organização padronizada.

Essas informações vêm por anexos em xls, pdf ou até mesmo no corpo do email.

Através dessas técnicas é possível desenvolver motores virtuais ou integrações com o email para a coleta dos dados e trabalhar com eles da melhor maneira possível.

E assim, a informação necessária é entregue.

Redes sociais

As redes sociais como o Facebook, Twitter, Instagram e blogs, por exemplo, são fontes infindáveis de dados.

Sabendo trabalhar com elas, você terá oportunidade de ter acesso a dados valiosos que podem ser transformados em informação.

Como eu disse acima, você pode fazer um acompanhamento para saber o que o público está falando em relação ao mercado ou assuntos que tenham a ver com sua empresa.

Lembrando que por se tratar de redes sociais, você vai trabalhar com dados não estruturados, ou seja, terá que ser feito por pessoas, não máquinas.

E também, é claro, estruturar de maneira que torne a leitura das informações.

Open data

Os governantes de diversos países perceberam que trabalhar com a transparência tem sido o melhor caminho para chegar até seus eleitores e conquistar seus votos.

Dessa maneira, atualmente é possível encontrar portais que disponibilizam dados sobre a saúde, finanças, investimentos e até mesmo informações estratégicas.

Também se pode acompanhar as tomadas de decisão, o que antes era impensável.

Sistemas web

Você certamente já ouviu esses nomes: Google Analytics, RD Station, Facebook Ads, Bing Ads, não é?

Pois esses e diversos outros são mais fontes de dados que merecem atenção e um tempo de análise.

E por que merecem tanta atenção?

Porque seu público está ali. As pessoas mais importantes do seu negócio estão ali falando tudo o que uma corporação precisa saber a respeito deles.

São informações dos clientes, pessoas que visitaram (por algum interesse, certamente) e até mesmo oportunidade de negócios.

Planilhas excel

Eu não teria como mensurar para você o número de empresas que utilizam planilhas excel, espalhadas em servidores, máquinas e até mesmo nuvem, como o caso do Google Drive.

É possível pegar esses dados e cruzar com dados de email, por exemplo, para fornecer informações que sejam do interesse da corporação.

Como você pode notar, boa parte dos recursos são encontrados no nosso cotidiano, afinal tudo o que é feito, gera dados.

E certamente existe alguém que tem interesse em explorar esses dados.

Estruturação dos dados no Big Data

Estruturação de dados é um modo próprio de armazenar e organizar os dados em um computador, visando facilitar a busca e as modificações.

Diferentes tipos de estruturas são utilizadas nos diferentes segmentos e se adequam ao que é necessário.

A coleta feita no big data pode tanto ser de dados estruturados, como de dados não estruturados.

Vou explicar a diferença entre eles.

Dados estruturados

Dados estruturados são aqueles que possuem uma estrutura específica, podendo ser dividido em categorias, clusters e definições de localização, vendas e informações de perfis.

Esses perfis podem ser de clientes, contatos ou até mesmo organizar as informações sobre colaboradores.

Um exemplo que posso dar a você sobre os dados estruturados são os bancos de dados tradicionais.

Para que a coleta de dados seja possível, é necessário deixar bem definido o local de cada informação.

Os softwares utilizados pela empresa, os sistemas financeiros e os sistemas de recursos humanos possuem dados estruturados.

Dados não estruturados

Como é de se imaginar, os dados não estruturados são um pouco mais complexos de se trabalhar do que os dados estruturados.

Isso se deve ao fato de que não existem estruturas neles, se tornando fundamental a intervenção de uma pessoa para tornar possível sua preparação.

Esses são os dados das mídias sociais como o Facebook, Instagram, YouTube, Twitter, portais de informações e todas as outras que tornam possível a interação.

Esses exemplos citados trabalham com vídeos, imagens, textos, áudios e por isso é tão complexo coletar dados através delas.

Um exemplo que posso citar sobre a coleta de dados nas mídias sociais é a pesquisa de comentários e palavras-chave mais utilizadas pelo público.

E o que isso significa em termos de resultado?

Você pode monitorar o que as pessoas estão dizendo a respeito da sua empresa ou até mesmo a maneira como elas encaram o mercado.

Mas como é possível notar, a melhor forma de fazer esse tipo de coleta é mesmo através de um trabalho mais “braçal”.

Afinal, para fazer esse tipo de coleta, é preciso uma análise prévia sobre o contexto da conversa e o porque de tudo o que está sendo mencionado.

Digo isso porque existem comentários que podem parecer positivos quando na verdade são críticas mascaradas.

Essas são aquelas carregadas de sarcasmo e ironia que com bastante frequência acontecem e as máquinas não conseguem captar.

Assim como alguns que parecem críticas são, na realidade, pontos que podem ser contados a favor da empresa.

E ainda tem a questão das tags, que precisam ser trabalhadas de acordo com aquilo que está sendo falado ou buscado.

Compreender o contexto em que elas são utilizadas ainda é um trabalho exclusivamente humano pois envolve particularidades impossíveis de serem detectadas roboticamente.

A complexidade dos dados não estruturados fala justamente disso, pois se existirem 10 mil comentários, todos deverão ser analisados.

Os comentários deverão ser analisados, coletados, estruturados, tagueados e tudo o mais que a empresa tiver necessidade.

E quando se trata do humor humano, se torna impossível para as máquinas fazer qualquer tipo de detecção.

Os 5V’s do Big Data

Ainda que o termo “big data” seja relativamente novo, o ato de coletar e interpretar dados é antigo.

Em meados dos anos 2000 que essa ideia passou a ser mais difundida e as pessoas começaram a ter consciência do que significa.

Na realidade, no ano de 1998, o escritor Dan Brown lançou seu primeiro livro que abordava de forma inteligente o assunto: Fortaleza Digital.

Falava sobre a Agência de Segurança Nacional que tinha acesso a todo tipo de informações e construiu uma máquina capaz de decodificar qualquer texto criptografado, o TRANSLTR.

Claro que é uma ficção, mas vale a leitura para as pessoas que gostam do assunto.

De qualquer maneira, foi nos anos 2000 que o analista Doug Laney definiu o Big Data como os 3 V’s:

Volume dos dados do Big Data

As organizações fazem uma coleta de dados muito grande, envolvendo diversas fontes, como as transações comerciais, por exemplo.

Também é possível coletá-los nas redes sociais e nos sensores que fornecem dados de máquina para máquina.

Claro que imaginar esse tamanho de coleta de dados há alguns anos seria impossível, mas atualmente as novas tecnologias permitem que esse trabalho seja feito de maneira mais rápida.

O Hadoop é um exemplo dessas tecnologias que conseguem aliviar a carga.

Velocidade do Big Data

Se os dados viajam em uma velocidade praticamente incalculável, é possível compreender que a coleta desses dados deve acompanhar tal velocidade para ser eficaz.

Os celulares, sensores ou contadores inteligente, por exemplo, impulsionam métodos cada vez mais velozes para a coleta dos dados em tempo real, ou quase.

Variedade dos dados do Big Data

As fontes pelas quais os dados são lançados, são inúmeras.

São dados numéricos nos bancos que utilizam dados tradicionais, dados estruturados ou não, vídeos, email, áudios, cotação da bolsa, transações financeiras (…)

E a tendência é crescer.

Porém ainda existem outras duas dimensões que merecem ser analisadas quando se fala em big data:

Veracidade dos dados do Big Data

Não há muito o que dizer para explicar esse tópico.

Apenas que é necessário que os dados coletados sejam autênticos, coletados de fontes seguras.

É impossível trabalhar com hipóteses baseadas em informações sem embasamento.

Valor dos dados do Big Data

Qualquer técnica utilizada pelas empresas visa uma otimização do seu serviço e, obviamente, do retorno que essa otimização vai possibilitar.

Dessa maneira, o valor fala justamente disso.

Vantagens de utilizar os insights descobertos

Se você conseguir cruzar os dados que encontrar nas mais diversas fontes – como já foi citado aqui – poderá obter informações de extrema importância para os seus negócios.

Essas informações poderão designar os caminhos para que a empresa tenha o melhor desempenho possível.

Vou explicar melhor.

Inicialmente você poderá fazer análises mais profundas sobre cada subgrupo do seu público-alvo, compreendendo seu comportamento em determinadas regiões.

Saber que tipo de produtos são os mais procurados é sinônimo de oportunidades, permitindo direcionar melhor as vendas para esse local, melhorando a logística.

Uma boa gestão dos negócios vai dar à corporação a oportunidade de desenvolver um atendimento mais eficiente e personalizado (com a possibilidade de ser em tempo real).

Com essas informações em mãos, você ainda tem a chance de entender bem quem é esse público e treinar equipes especializadas para trabalhar com pessoas que tenham essas características.

Imagine um cliente que vai até sua empresa em uma filial (ou na própria matriz) que fica em um grande centro não é o mesmo cliente que vai em uma empresa – ainda que da mesma companhia – em uma pequena cidade do interior.

Reduzir as taxas de churn

Para que não existam dúvidas, o churn é uma expressão da língua inglesa que se refere a algo como “evasão de clientes”.

Então a ideia aqui é a de entender como utilizar o big data para reduzir o número de clientes que se perdem por “N” motivos.

Quando um consumidor opta por cancelar a utilização de um serviço ou produto, é possível observar – ainda que de maneira sutil – o porque dele tomar essa decisão.

Com uma boa capacidade de observação, é possível identificar aqueles clientes que estão prestes a cancelar algum tipo de serviço.

No big data analytics é possível desenvolver o perfil 360º do seu público ideal, que na verdade é um grande auxílio na hora de prever tais reações.

Ou seja, é possível identificar esses consumidores e ainda ter algum tempo para agir, evitando uma possível perda.

Como?

Imagine que através de uma análise preventiva, tendo em mãos seus insights, a chance de trabalhar com prevenção de churn é muito mais real.

Na verdade, essa é a sua chance de trabalhar com uma ferramenta que vai apontar índices que servirão como base para ações focadas nesses clientes.

E trabalhando diretamente com os clientes que possivelmente iriam abandonar o negócio – como campanhas específicas, por exemplo – a otimização do serviço é indiscutível.

Personalização de Serviços

Segundo uma pesquisa feita em 2014 pelo IDC (International Data Corporation), até o ano de 2018, U$41,8 bilhões seriam investidos em big data.

Isso representa uma taxa de crescimento de 26,4% ao ano.

E o que isso significa, traduzindo em palavras?

Significa que se sua empresa ainda não trabalha com soluções do big data, ela certamente está ficando para trás.

Essas soluções podem ser as características que vão manter a sua empresa ativa no mercado, então, é preciso sim considerar a possibilidade da implementação do big data na rotina da empresa.

Você poderá personalizar os serviços com estratégias efetivas, seguindo alguns passos simples e eficazes:

• Serviços de marketing – Esses certamente são os que mais se utilizam dos dados fornecidos no big data, tornando possível campanhas direcionadas para aquele público, além de promoções e produtos em si, e ainda coloca sua empresa há alguns passos de vantagem quando comparado à sua concorrência
• Gestão de dados dos clientes – Fazer uma análise completa sobre o perfil do seu cliente trará à empresa a oportunidade de se relacionar com o cliente, coletando dados através de seu comportamento e interação virtual com a marca além, é claro, de informações cedidas no momento da compra, como data de nascimento, por exemplo
• Coleta e análises de dados – A origem da coleta pode ser digital ou não, cabendo a cada empresa trabalhar da maneira que melhor lhe trouxer resultados, e como se trata de algo amplo, é necessário saber como organizar em uma linha de raciocínio tais dados e investir em meios para isso
• Adaptação dos produtos e serviços – Com a personalidade do cliente em foco, a personalização de produtos e serviços se torna mais eficiente e deverá ser trabalhada por gestores e equipe de marketing bem preparada, proporcionando a tão desejada satisfação dos clientes

A personalização do serviço deve levar em consideração o público (sempre), sem perder as características que a empresa já possui.

Identificação de padrões precisos

Nas vantagens para quem utiliza o big data, eu falei sobre a possibilidade de identificar os diferentes clientes que, de acordo com sua região, terá um comportamento.

Mas ainda é possível automatizar campanhas e fazer ainda mais que isso.

Além dos costumes das regiões, também é possível ter conhecimento do poder de consumo do seu público, sua idade, seus hábitos, entre outras informações que possam interessar à empresa).

Com essas informações em mãos, você poderá direcionar sua corporação para trabalhar de maneira mais personalizada com esses clientes.

Você pode investir, por exemplo, em promoções, serviços e produtos que agradem aquele público.

E como já é conhecido no marketing, empresas que trabalham de forma mais personalizada, contam com uma maior probabilidade de sobreviver no mercado.

Vou dar um exemplo:

Sabe quando você entra em um site para comprar um livro, e em seguida aparece uma lista de possíveis títulos que seriam do seu agrado?

É isso.

Desenvolvimento de novos produtos

Claro que com as informações sobre seu público em mãos, é possível desenvolver produtos e serviços que melhor os atendam.

A função dos insights deve ser justamente essa: conhecer o cliente.

Saber quais são suas ambições, suas preferências e até mesmo como é sua personalidade, só trará benefícios para a corporação.

Mas é preciso saber o que fazer com as informações, para que não seja um investimento que não traga retorno.

A ideia é conquistar o melhor ROI possível.

Também é interessante saber o que eles pensam sobre os produtos e serviços já oferecidos, personalizando-os cada vez mais.

Leve em consideração cada feedback.

Apenas assim será possível atender com maior precisão as necessidades do seu público.

De uma maneira geral, pessoas querem sentir que são importantes para a marca que elas consomem, e não que são apenas números.

Com o desenvolvimento de produtos e serviços voltadas para elas, a tendência é a construção de um marketing de defensores muito eficiente.

Criação de novas estratégias de marketing

É impossível mensurar a quantidade de estratégias que existem que têm como objetivo melhorar os resultados das empresas.

Até porque acontecem criações de novas estratégias constantemente.

Cada empresa utiliza aquelas que já existem e que são utilizadas pelas marcas de sucesso e, a partir delas, desenvolve suas próprias.

A verdade é que todos os caminhos levam a maior personalização possível e a não venda de produtos e serviços, mas sim de soluções.

Tendo essas duas ideias como base, aliando aos dados coletados com suas soluções de big data, as chances de errar em uma campanha são bem baixas.

E ainda que aconteçam erros, com o big data é possível corrigir esses erros até mesmo em tempo real.

Então utiliza as informações que conseguiu no garimpo de dados para desenvolver estratégias que atendam o seu público.

E sempre mantenha o foco no cliente.

Trabalhar com públicos diferentes vai tirar pode acabar tirando o foco da campanha.

Análise de concorrência

Além de todas as soluções voltadas para o público, ainda são possíveis soluções que visam entender o comportamento do mercado e das empresas concorrentes.

A ferramenta poderá apontar os melhores caminhos (ou até mesmo atalhos) para que consiga fazer com que sua corporação se sobressaia.

A criação de campanhas específicas ou o aumento do estoque de determinado produto podem parecer soluções simples, mas que certamente poderão destacar sua empresa no mercado.

Seguir os mesmos caminhos que a concorrência segue só levará sua empresa a obter os mesmos resultados, quando não inferiores à referência.

Todo investimento que tem como objetivo o destaque, deve ser avaliada com cuidado por gestores.

Analise a concorrência porque certamente existem pessoas analisando a maneira como sua empresa trabalha.

Isso não tem nada de errado e quem sai ganhando é o público, que passa a contar com empresas brigando para oferecer o melhor atendimento.

Estreitar as relações com clientes

Estreitar as relações com o cliente é a melhor maneira de fazer com que a marca faça parte do dia a dia de cada um deles.

O marketing fala justamente disso.

A ideia de cada empresa é fazer com que as pessoas a enxerguem como algo do seu cotidiano, que certamente vai fazer falta quando não for possível adquirir.

São muitas as empresas que trabalham dessa maneira.

Basta pensar em quantas campanhas você já viu que trabalham levando soluções que fazem parte, e com ideias inovadoras.

A construção do relacionamento não significa exatamente chamar cada um de seus clientes para tomar um café, isso seria impossível.

Mas estreitar o relacionamento com o público-alvo é possível sim, interagindo com ele sempre que possível.

E claro que com as soluções do big data, é possível entender quais as necessidades dele e se aproximar através daquilo que oferece.

Utilize as informações que coletar para interagir com seu público, participar de suas vidas, estar sempre pronto para responder suas dúvidas e oferecer soluções.

Como aplicar o Big Data em sua empresa?

Para aproveitar todo o potencial do big data, o ideal é que seu investimento na tecnologia seja encarado como uma diretriz estratégica, e não apenas como uma ação qualquer.

Se você deseja aplicar o big data em sua organização, seguir este passo a passo é uma boa ideia:

1. Invista na cultura

As companhias que colhem os melhores resultados com o big data são aquelas que criam uma cultura data driven, ou seja, orientada por dados.

Isso quer dizer que o uso de dados para embasar a tomada de decisão se transforma em uma premissa, uma mentalidade presente em todos os setores da companhia.

2. Planeje o conceito

Dedique um bom tempo para responder às perguntas básicas.

Por exemplo, quais são os desafios e oportunidades da empresa e como o big data ajuda a encará-los?

A partir daí, defina áreas e atividades prioritárias que serão mais impactadas com a tecnologia e, consequentemente, trarão os maiores resultados.

3. Capacite seus colaboradores

Em vez de apenas contratar profissionais especializados nas tecnologias do big data e análise de dados, é uma boa prática oferecer aos seus funcionários a oportunidade de aprender sobre a área.

Vale ter uma equipe de TI altamente especializada, mas melhor ainda é descentralizar o conhecimento, contando com profissionais que entendem sobre big data em cada setor, o que aumenta a capilarização da tecnologia na empresa.

4. Planeje a ação

O modo como uma empresa funciona depende dos processos.

E a implantação do big data demanda a criação de novos processos.

Só assim a cultura data driven será perene, ou seja, o uso de dados não será uma onda passageira, e sim a nova maneira de fazer as coisas dentro da organização.

5. Teste e ajuste

Nem tudo vai funcionar perfeitamente de primeira.

Ao notar que a estrutura de equipe ou os processos criados não estão fluindo com a harmonia esperada, faça ajustes.

6. Promova a melhoria contínua

Essa fase de observação sobre ajustes é mais intensa no começo, mas na verdade ela nunca termina.

Sempre haverá o que se melhorar, portanto, a empresa precisa também de processos robustos de revisão, feedback e replanejamento.

Exemplos de Big Data: grandes empresas que usam Big Data atualmente

Como já falei algumas vezes, se uma empresa quer se destacar no segmento e no mercado como um todo, é preciso trabalhar as melhores táticas.

Não é de hoje que as gigantes do mercado sabem como trabalhar com essas táticas e extraem o melhor que seu público tem a oferecer.

Corporações e governo conseguiram encontrar no big data a melhor maneira para desenvolver suas estratégias, oferecendo produtos e serviços de qualidade ao seu público.

Eles trabalham com a coleta de dados, análises preditivas, relatórios de cientistas de dados, analisando as estatísticas e cruzando informações.

As soluções que o big data oferece, incluem informações tão precisas que permitem que essas marcas aprimorem seu serviço.

Elas são referências quando o assunto é trabalhar com o big data.

Vamos conhecer três dessas empresas.

Walmart

A gigante norte-americana tem acesso a um total de 2,5 petabytes de dados por hora, consegue imaginar isso?

A coleta desses dados é feita através de informações fornecidas pelos clientes no momento de transação.

Através desse tipo de acompanhamento, é possível manter o controle preciso sobre os níveis do estoque em tempo real.

Também permite previsões de tendências, como é o caso dos produtos sazonais por exemplo, possibilitando que a empresa otimize seu processo de trabalho na rede.

A empresa ainda carrega o estigma de pioneirismo ilimitado.

Para entender como a marca trabalha, imagine se precisasse de produtos de supermercado e através do seu smartphone pede (de forma genérica) alguns produtos.

Em tempo real, o aplicativo prepara uma lista, colocando no carrinho virtual todas as marcas de sua preferência, apontando o preço final e a compra já pode ser finalizada.

Todo esse processo foi feito em cerca de 5 minutos ou menos.

É isso que a Walmart faz.

Cruza os pedidos feitos com as preferências do cliente, oferecendo as ofertas que melhor atendam sua necessidade.

E tudo isso através do big data, que é capaz de captar, traduzir e organizar esses dados, permitindo o “reconhecimento” de seus clientes.

Nike

Mais um exemplo de sucesso que vem da América do Norte é a Nike.

A empresa fez uma parceria com uma empresa de tecnologia e desenvolveu um aplicativo que monitora a frequência cardíaca do atleta.

Ainda marca a quantidade de passos, a velocidade atingida na corrida e a distância percorrida, possibilitando que os resultados sejam compartilhados nas redes sociais.

Naturalmente somos competitivos, e essa característica é possível notar desde crianças que começam a adquirir alguma autonomia, até as pessoas mais velhas.

Então essa característica de compartilhar nas redes sociais, acaba possibilitando uma brincadeira entre amigos, aumentando os compartilhamentos e alcance da marca.

E olha só que jogada inteligente.

Além do nome que começa a fazer parte da página do cliente, a empresa ainda pode coletar dados sobre esse cliente, desenvolvendo produtos que atendam tudo o que ele procura.

Mcdonald’s

A maior rede de restaurantes do mundo vende 75 sanduíches por segundo no mundo.

Isso certamente já mostra que a empresa não precisa mais fazer muita coisa para continuar no mercado, certo? Errado.

A empresa está preocupada com a movimentação dos seus clientes e suas preferências.

Hoje a empresa oferece seus tradicionais sanduíches e refrigerante, mas também opções lights e saudáveis, visando a fidelização dos clientes.

E tudo isso por qual motivo?

Justamente pela preocupação com a alimentação saudável que começou a surgir com mais afinco nos últimos 20 anos.

Quando você responde sobre o que quer na hora de fazer o pedido, suas informações são coletadas e analisadas para as próximas decisões.

Essa é a maneira que a empresa tem de conseguir insights para otimizar seus serviços, como a otimização do tráfego nos drive-thru, as novas opções do menu e o controle de qualidade.

Quais as melhores ferramentas de Big Data disponíveis?

O software Watson é uma das muitas soluções no mercado para aplicação do conceito de Big Data nas empresas.

Veja a seguir mais alternativas.

Apache Hadoop

Considerada como a principal ferramenta de Big Data, o Apache Hadoop é uma biblioteca que funciona como um grande framework.

Sendo um software em Java de computação distribuída, ele é também utilizado para processamento de dados em massa.

Cloudera

Já o Cloudera consiste em um sistema de armazenamento de dados em nuvem baseado em Apache Hadoop.

Trata-se de um software “guarda-chuva”, com o qual se pode operacionalizar outros sistemas em BD.

HPCC

Também chamado de Data Analytics Supercomputer (DAS), o HPCC é uma plataforma que utiliza dados de código aberto. 

Para isso, ela se vale de uma arquitetura de software na forma clusters de computação para processar dados em aplicativos que utilizam dados em massa.

Knime

Já a Knime é uma plataforma usada para gerar relatórios empresariais, CRM, data mining, analytics e BI, entre outros usos.

MongoDB

Por sua vez, o MongoDB é um sistema orientado a documentos, usando também código aberto, desenvolvido em linguagem C++. e banco de dados NoSQL.

Pentaho

Também em código aberto, o Pentaho é desenvolvido em Java para realizar tarefas de mineração de dados, reporting, OLAP e ETL, com processamento em tempo real.

Rapidminer

Desenvolvido pela empresa homônima, o Rapidminer é um software usado em processos de tratamento de dados, Machine Learning e análise preditiva, entre outras funções.

Sisense

O diferencial do Sisense é poder ser configurado 100% de forma interna nas empresas.

Isso reduz os custos de implementação deste software, usado como solução em cluster e data warehouses.

Storm

A vantagem do Storm é ser um sistema confiável de código aberto que oferece distribuição em tempo real, permitindo grande escalabilidade.

Tableau

Líder do quadrante mágico da Gartner, o Tableau é hoje considerado o sistema número 1 para empresas que pretendem desenvolver Business Intelligence.

Watson Analytics

Como vimos no caso da UPS, o Watson IBM é a solução para automatização de análise preditiva e visualização inteligente de dados baseada em cloud computing.

Formação em Big data

Também vimos que o mercado em torno do Big Data está em franco crescimento e, sendo assim, a demanda por profissionais aumenta.

Mas como se preparar para atuar especificamente com dados em massa, sua coleta e análise para gerar resultados?

No Brasil, uma opção para quem precisa se aprofundar no assunto são os cursos da Udemy, que conta com uma ampla variedade de módulos só sobre Big Data.

Se sua intenção, contudo, é levar ainda mais a sério a profissão, pode se formar em Big Data como tecnólogo.

Veja algumas possibilidades:

• Tecnologia em Big Data e Inteligência Analítica – PUCPR
• Data Science de A a Z – Extração e Exibição dos Dados – Udemy
• Cursos Big Data – 4Linux
• MBA em Tecnologia para Negócios: AI, Data Science e Big Data – PUCRS

Como trabalhar com Big Data?

Como mostra uma pesquisa publicada no portal G1, a demanda por profissionais da área de dados e TI cresceu em 500% no último ano.

O leque de possibilidades é vasto, com vagas para engenheiros, cientistas e analistas de dados.

Para transformar o big data em uma carreira, siga estas dicas:

• Conheça as áreas: informando-se para conhecer as carreiras em alta
• Escolha uma especialidade: definir uma área de atuação é fundamental, dadas as incontáveis possibilidades, hoje e para o futuro
• Busque a especialização: hoje, você pode estudar sem sair de casa. Há tutoriais e cursos das mais diversas instituições de ensino nacionais e internacionais
• Produza: o mercado de trabalho é cheio de oportunidades, mas se você ainda não tem experiência prática, pode começar oferecendo seu trabalho como teste

Prospecte clientes: sugira que a sua remuneração esteja vinculada aos resultados propostos.

Conclusão

Em 1978, a BBC apresentou uma série chamada “Connections”, do cientista e historiador James Burke.

Veja bem o ano e as palavras do cientista:

“No dia a dia da maioria das pessoas, o computador é apenas uma calculadora muito rápida, mas ele é muito mais que isso.

O mundo moderno não poderia funcionar sem computadores porque eles operam tudo, de linhas de produção e centrais telefônicas a sistemas de tráfego e finanças internacionais.

Mas a principal razão para computadores serem importantes para nós e nosso futuro é porque eles têm memórias perfeitas. Eles nunca esquecem nada que é dito sobre nós.

Guarda o tipo de informação que você precisa, por exemplo, para abrir uma conta bancária, para fazer empréstimos, para votar, comprar uma casa ou caso seja acusado de um crime.

É por isso que os computadores contém o futuro dentro deles.

Se você disser a um computador tudo sobre um grupo de pessoas, ele vai analisar a mistura e encontrar o fator com maior probabilidade de afetar a decisão que esse grupo tomará sobre algo.

Saber disso é saber o futuro, e isso é poder. Mas nas mãos de quem?”

A claridade com que Burke conseguiu enxergar esse futuro é incrível, e ele fala justamente sobre a coleta, decodificação e análise de dados que falei nesse artigo.

Então antes mesmo que eu pudesse dizer qualquer coisa, eu precisava compartilhar com vocês essas palavras que mostram exatamente a seriedade e responsabilidade desse tipo de serviço.

O big data, antes de qualquer coisa, é uma poderosa arma e deve existir uma preocupação real sobre as mãos que trabalham com ele.

Hoje é possível saber quase tudo sobre uma pessoa, empresa, país ou seja qual for o alvo das análises.

Então utilize os dados que coletar com responsabilidade, visando sempre a otimização de produtos e serviços para o seu público-alvo.

E também para entender como trabalha a concorrência para poder superá-los em seus pontos fracos.

E ainda para entender o mercado e as futuras movimentações, tendo como objetivo evitar desperdícios de tempo e dinheiro em campanhas, anúncios e tudo o que envolve a corporação.

Existe um mundo de dados passando em torno de nós a todo momento, garimpe-os com sabedoria e cresça.

Mas e você, quais soluções de big data utiliza em sua empresa?