Ter métrica é bom. Métricas são essenciais para conhecer mais a fundo seu produto e para poder tomar decisões mais acertadas. Mas é preciso tomar cuidado. Métrica em excesso pode atrapalhar, pode ofuscar o seu conhecimento pleno do seu produto.

Em inglês, existem dois termos que podem explicar bem essa minha preocupação. O primeiro termo é data-driven. Quando se gerencia um produto de forma data-driven, você roda experimentos que geram dados que alimentam suas decisões sobre próximos experimentos. É simples assim, e parece ser uma excelente forma de se gerir um produto. Só que existem alguns problemas nessa abordagem:

• Medição de dados: Existe uma tendência natural a medir o que é fácil de ser medido, e isso pode acontecer em detrimento de medir o que é mais relevante. Por exemplo, o que é mais fácil de medir: cliques em uma mensagem de uma campanha de e-mail marketing, ou percepção do usuário (curiosidade, alegria, desdém etc.) ao receber essa mensagem de uma campanha de e-mail marketing? Antes de sair tomando ações em cima dos dados existentes, é sempre bom perguntar se estes são os melhores dados para poder tomar a decisão.

• Ótimo local: Outro ponto de preocupação em relação às decisões baseadas em dados é o perigo de se ater às melhorias focadas em ótimos locais. Ou seja, você faz melhorias incrementais em seu produto, focando em melhorar determinada métrica, mas não percebe que, se você fizer uma mudança mais radical, pode obter um aumento considerável nessa métrica, maior do que o maior aumento obtido com essas melhorias incrementais.

• Qualidade dos dados: Mesmo tendo dados, é preciso entender a qualidade dos dados, isto é, como eles são obtidos e processados antes de você recebê-los para analisar. Os resultados têm relevância estatística? Você já deve ter ouvido falar em teste A/B, não? É um teste no qual você monta duas de uma determinada página de um site. Em seguida, você divide o tráfego que vai para essas duas versões e começa a medir o comportamento das duas páginas em relação a um determinado objetivo como, por exemplo, cliques no botão “comprar”. Após rodar esse teste por algum tempo, você vai saber qual das duas versões atinge mais o objetivo. Experimente agora fazer um teste A/A, ou seja, faça um teste A/B em que as duas variações da sua página são idênticas. Depois de rodar esse teste, veja os resultados. Existem grandes chances de você encontrar uma das versões A de sua página atingindo o objetivo mais vezes do que a outra versão A. Como isso é possível? Variações estatísticas, sazonalidade e efeitos imprevisíveis. Todo dado pode estar sujeito a variações estatísticas e, por isso, em dados quantitativos é sempre bom entender o tamanho da amostra e como ela foi coletada. A época em que a amostra de dados foi coletada também impacta na qualidade dos dados: hora do dia, dia da semana, dia do mês, período do ano, e assim por diante. Dados são uma foto com data e hora marcada, o mesmo dado coletado minutos depois pode dar informações diferentes. Por fim, os efeitos imprevisíveis que podem afetar seus dados. A campanha presidencial de 2014 foi completamente mudada com a morte de um dos candidatos, o Eduardo Campos. Esse foi um evento imprevisível que mudou completamente a qualidade dos dados de pesquisa eleitoral.

• Conhecimento qualitativo: Nem só de dados quantitativos vive a gestão de produtos. Ao contrário, o gestor de produtos deve (como visto no capítulo Inovação: foco no problema) usar diferentes ferramentas para aprender mais sobre seu usuário, o problema que o aflige, o contexto em que isso acontece e o que o motiva a ter esse problema resolvido. Muitas dessas ferramentas apresentam dados qualitativos, ou seja, dados de pesquisa exploratória, por meio da qual se está buscando entender razões, motivações e opiniões. Esse tipo de entendimento é muito difícil, senão impossível, de se obter em análise de dados quantitativos.

Em função disso, em vez de data-driven, está cada vez mais claro que precisamos ser data-informed; em outras palavras, usar os dados como mais um insumo para as tomadas de decisão, e não como o único insumo. A experiência, a intuição, o julgamento e as informações qualitativas devem também ser levados em consideração, junto com as métricas, para aumentar a qualidade da tomada de decisão.

Acredito que um dos melhores exemplos que posso citar tem a ver com o produto de hospedagem de sites da Locaweb. Ao longo dos anos, de forma razoavelmente informada, mas contando sempre com bastante intuição, alteramos nossos planos de hospedagem para ter mais espaço em disco, transferência e quantidade de sites que poderiam ser hospedados em cada plano vendido. Em 2011, notamos que mais de 90% de nossos clientes escolhiam o plano mais básico, pois ele atendia a necessidade da maioria das pessoas que precisavam de um site.

Queríamos que os planos maiores tivessem uma participação maior nas vendas, mas, com os limites dos planos que tínhamos, não havia nenhuma motivação para os clientes os comprarem. Pensamos em mudar os planos para novas contratações, diminuindo os limites para incentivar os clientes a adquirirem planos maiores. Entretanto, como era uma mudança significativa e bastante sensível, trouxemos uma consultoria especializada em precificação, que nos ajudou a coletar e analisar vários dados, para sugerir qual a melhor mudança a ser feita.

Implementamos as mudanças sugeridas em 2012. Houve uma pequena variação na distribuição dos planos, mas a quantidade de planos contratados por mês não mudou. Aliás, chegou a cair um pouco, o que resultou em nenhuma alteração na quantidade de nova receita por mês. Ou seja, gastamos tempo e dinheiro coletando e analisando dados que nos fizeram tomar uma decisão que em nada mudou o resultado da empresa. Talvez se tivéssemos definido as mudanças de forma mais intuitiva, teríamos economizado dinheiro e saberíamos o resultado da decisão mais rapidamente.

Um pouco sobre testes A/B

Existem duas ótimas ferramentas para fazer testes A/B, o Visual Website Optimizer (http://visualwebsiteoptimizer.com) e o Optimizely (http://optimizely.com). Usei o serviço Visual Website Optimizer, que oferece um mês grátis, para testar algumas hipóteses sobre a home do ContaCal:

Em menos de 30 minutos, consegui criar 4 variações e comecei a rodar o teste. Resolvi testar duas coisas. Uma era se a cor do botão “criar conta” faz diferença na quantidade de pessoas que clicam nele:

E a outra era se, mudando o vídeo explicativo para uma foto ilustrativa, aumentava ou diminuía a quantidade de pessoas que clicam no botão “criar conta”:

O resultado foi:

Ao ver esse resultado, fiquei com a impressão de que, se eu colocasse botão verde com a imagem da família saudável, eu iria aumentar mais ainda a conversão. Resolvi, então, fazer esse teste e o resultado foi:

Por isso, tome cuidado, as aparências enganam! Faça experiências antes de tirar conclusões!

Analysis paralysis

Por fim, além desses cuidados, é preciso tomar cuidado com o efeito analysis paralysis, ou seja, ficar o tempo todo analisando dados e não tomar nenhuma ação. Como bem ilustrado pela figura do xkcd.com (2014), a analysis paralysis pode custar bem caro:

Concluindo

As métricas não são a razão da existência de seu produto. Os usuários de seu produto, os problemas que ele resolve para esses usuários e os objetivos estratégicos da empresa que é dona do software são as razões de sua existência. Ou seja, métricas são um meio, e não o fim, o resultado e o objetivo. Por isso, use-as como mais uma das ferramentas que você tem à sua disposição para ajudá-lo a guiar seu produto na direção certa.

No próximo capítulo vou falar sobre o que é e para que serve a visão e a estratégia do produto, ferramentas úteis para as tomadas de decisão sobre qual será o futuro do seu produto.

Mentoria de líderes de produto

Tenho ajudado líderes de produto (CPOs, heads de produtos, CTOs, CEOs, tech founders) a extrair mais valor e resultados de seus produtos digitais. Veja aqui como posso ajudar você e a sua empresa.

Gestão de produtos digitais

Este artigo é mais um capítulo do meu livro Gestão de produtos: Como aumentar as chances de sucesso do seu software, onde falo sobre o que é gestão de produtos digitais, seu ciclo de vida, que ferramentas utilizar para aumentar suas chances de sucesso. Você também pode se interessar pelos meus outros dois livros:

• Liderança de produtos digitais: A ciência e a arte da gestão de times de produto
• Guia da Startup: Como startups e empresas estabelecidas podem criar produtos de software rentáveis