Posts Tagged: big data

Livro | Small data, por Martin Lindstrom

 

Em um dos episódios mais memoráveis de Mad Men, Peggy Olson, ainda como secretária, é convidada a participar de um focus group sobre batons. Na sala lotada de mulheres vaidosas, empolgadas em testar uma nova linha de produtos, Peggy mais observa as outras do que experimenta. Os homens ironizam o comportamento das mulheres na sala, mas, Peggy, por ser boa observadora, consegue ver qual é a história a ser contada na campanha, mesmo sem posse da prancheta com as respostas das perguntas.  Independente do seu gênero, Peggy apresenta qualidade de pesquisadora, porque consegue, de dentro da selva, ter o distanciamento essencial que diminui o viés de confirmação, presente em qualquer pesquisa. Indagada pelo diretor da conta sobre por quê não ter experimentado o batom, a futura redatora respondeu que nenhum deles era a sua cor e disse:

“I don’t think anyone wants to be one of a hundred colors in a box.”

– Peggy Olson

POR INCRÍVEL QUE PAREÇA, quase todos os insights que tive como consultor de grandes empresas globais surgiram dessa maneira. Eu podia estar desenvolvendo uma nova chave para os donos de carros da marca Porsche, criando um cartão de crédito para bilionários, gerando inovações para empresas com grandes perdas, ajudando a superar sérios problemas em grandes redes de supermercados norte-americanas ou tentando posicionar uma empresa automobilística chinesa no complicado mercado global. Uma citação muito conhecida nos diz que, se quisermos entender como os animais vivem, não devemos ir ao zoológico, mas à selva. É isso o eu que faço. Em quase todas as situações, após fazer o que chamo de Pesquisa de Subtexto (muitas vezes resumo para apenas Subtexto), processo detalhado que envolve visitar os consumidores em suas casas, recolher small data (em português, “pequenos dados”) on-line e off-line e destrinchá-los com observações e insights que recolho ao redor do mundo, surge um momento em que descubro um desejo não percebido, algo que gera a base de uma nova percebido, algo que gera a base de uma nova marca, de um produto ou negócio inovador.

Leia mais: Em defesa do Small data na era do Big data

O livro é interessantíssimo porque mescla diário de bordo sobre as experiências do pesquisador ao redor do mundo e os resultados práticos das suas observações, inclusive aquelas que não foram aplicadas – seja por um erro da metodologia ou por um budget apertado do cliente. Me lembrou especialmente sobre as minhas experiências com jornalismo, onde uma frase ou gesto de alguém saltava aos meus olhos durante uma entrevista, o que sempre deixava o meu texto mais com cara de grande reportagem, do que de nota informativa. Além da minha experiência como redatora publicitária ter sido pouco empolgante porque eu não contava histórias, nem via conexão com o que escrevia. Em pesquisa, onde me encontrei há três anos, consigo reunir todas estas qualidades presentes anteriormente, adicionadas às minhas análises com múltiplas planilhas do excel, uma skill necessária para trabalhar combusiness intelligence. Todo dado apresenta uma história, seja em pentabytes ou em três mil tweets contidos numa simples planilha.

Nunca estudei Ciências Sociais, nunca pesquisei sobre Psicologia e não sou detetive, mas já me disseram que penso e ajo como os profissionais dessas áreas. A essas pessoas, respondo que sou um pesquisador de small data ou de DNA emocional — uma espécie de caçador de desejos, hábito que desenvolvi por acaso quando era menino, vivendo em uma fazenda na cidade rural de Skive, na Dinamarca, com uma população de 20.505 habitantes.

Lindstorm, Martin. Small Data (Locais do Kindle 153-157). HarperCollins Brasil. Edição do Kindle.

É possível que “Small data” possa incomodar quem gosta de narrativas lineares porque o autor traça paralelos, por exemplo, sobre opressão feminina em países aparentemente muito diferentes, como Rússia e Dubai. Ele usa uma experiência numa localidade para falar sobre como os humanos se comportam em outro lugar. Pra mim, a narrativa ficou ainda mais curiosa por ser meu estilo de texto. Achei precioso que small data é apresentado como um conjunto de atitudes humanas e, não necessariamente, um dado isolado apresentado por um indivíduo numa entrevista de campo. Aparentemente eles podem não se conectar mas revelam detalhes muito pertinentes sobre uma sociedade. Observando tecidos de roupas, você pode entender os temperos usados pelas sogras nas cozinhas indianas!

Um pequeno dado isolado quase nunca é suficiente para montar um caso ou criar uma hipótese. Porém, misturados a outros insights e observações reunidos ao redor do mundo, os dados podem formar uma solução capaz de criar a base de uma nova marca ou negócio.

Lindstorm, Martin. Small Data (Locais do Kindle 206-208). HarperCollins Brasil. Edição do Kindle.

O trabalho dele é bastante intuitivo e Lindstrom não tem vergonha de expor isso. O seu distanciamento e sagacidade me lembrou o de Peggy no episódio relatado acima. Ao final do livro, o autor alfineta bastante a empolgação com big data e, assim como eu, defende que ambos juntos devem estar na linha de frente das estratégias. Para ele, a integração de dados  “é um elemento fundamental à sobrevivência do marketing e ao seu êxito no século XXI”. Como uma pessoa que consegue unir os dois hoje, eu não poderia deixar de concordar.

 

 

Livro | Big data, uma visão gerencial por Fernando Amaral

O meu primeiro curso de big data, realizado no final do ano passado, foi o do Fernando Amaral na Udemy, o qual eu considero um ótimo introdutório sobre o assunto.  Por este motivo fiquei interessada em ler a sua obra, mesmo que o foco seja mais direcionado aos gerentes de projetos por falar de custos, orientações de contratação de time, ferramentas, dentre outras funções relacionadas ao job deste profissional que é essencial em qualquer time de big data. 

Assista: Por que aplicar Gestão de Projetos em Data Science?

O livro foi importante para relembrar alguns conceitos dados logo no início do curso, sobretudo quando tive o módulo de Introdução ao Big data/Hadoop, em abril deste ano. Destaco alguns trechos interessantes para pretensos cientistas de dados, como eu, sobretudo aqueles que já tem contato com matérias relacionadas. 

Projetos de Big Data crescem horizontalmente, em vez de um “upgrade” no servidor, novos nodos, como data nodes ou name nodes, são adicionados à estrutura de B&A, geralmente, virtualizados. Projetos tradicionais trafegam mais dados do servidor para o cliente ou do servidor para fora da empresa. Em projetos de Big Data, o maior tráfego é entre os nós dos servidores: entre data nodes, entre names nodes e data notes etc.

Em projetos tradicionais, existe uma grande preocupação em só carregar dados em que, a partir de uma análise prévia, se vê valor. Estes dados são tratados e carregados em repositórios pequenos (para os padrões de Big Data) para apoiar decisões. Por outro lado, projetos de Big Data carregam grandes volumes de dados em um sistema de arquivo como o HDFS, em seu formato nativo, mesmo que em princípio não se enxergue valor. Estes dados formam os conhecidos data lakes, ou lagos de dados.

Os 7vs de big data apresentado no Blogando Salvador (Outubro/2018)

Posteriormente, parte destes dados pode ser transformados e carregados em um data mart tradicional. Outra forma que podemos olhar uma solução de Big Data é sob sua arquitetura básica. Neste contexto, temos quatro elementos: fontes de dados, carga, armazenamento, análise e visualização (ou apresentação). Neste aspecto, em uma solução de análise de dados clássica estão presentes estes mesmos elementos de arquitetura, o que mudam são algumas particularidades em alguns elementos. Vamos entender melhor. Quantos às fontes de dados, podemos ter nos dois casos os mesmos elementos: dados estruturados ou não estruturados. Porém, projetos de Big Data têm mais presente fontes de dados não estruturadas, como já estudamos no quesito variedade.

Amaral, Fernando. Big Data: Uma Visão Gerencial: Para Executivos, Consultores e Gerentes de Projetos (Locais do Kindle 195-199). Fernando Amaral. Edição do Kindle.

Se o projeto envolve uma única fonte de dados relacionais para produzir dimensões em um data mart, não podemos considerar Big Data, mas em outras hipóteses, em que existem muitas fontes de dados, ou algumas poucas, mas com, pelo menos, uma não estrutura, ou mesmo dados semiestruturados ou fontes de dados NoSQL, ou até mesmo, claro, volumes de dados além de um projeto tradicional, então sim, todos estes serão considerados projetos de Big Data.

Argumentei no LinkedIn sobre empresas que já falam em domar dados volumosos, sem ao menos terem estruturado o setor de insights nas entregas. O livro é interessante para dar uma freiada nos ansiosos a respeito de big data porque Amaral, por ter vasta experiência no assunto, faz questão de demonstrar que big data não é simples e nem barato. Ás vezes um projeto tem um ano de planejamento para ficar pronto e que pode dar errado (!!!). Big data (ainda) não é carne de vaca, mas, diante da complexidade de implementação e contratação de profissionais, vai demorar bastante pra se tornar a pastelaria como já estão vendendo por aí.