Cuidado com os dados mentirosos - Luizletter #24

Usar dados pra tomar decisões não é novidade pra mais ninguém. Mas o problema é quando confiamos em dados que estão errados ou não são eficientes para explicar oque está acontecendo. E eu não estou falando só de fontes de dados, que é onde geralmente temos mais ateção. Mas até em cálculos que usamos todos os dias podem nos levar a errar nas análises.

Um dado bem simples, que todo mundo que trabalha com email deve estar acostumado, é a taxa de cliques. Nada mais é que o número de cliques feitos pelos contatos que receberem um disparo de email em massa.

Isso deveria ser muito simples. Mas não é. O cálculo pode mudar levemente e com isso dar resultados completamente mentirosos.

Por exemplo, o email abaixo foi disparado para 30.949 e teve 262 cliques. O que daria uma taxa de cliques de 0,88%, excelente.

Se você só olhar o número total, vai se enganar muito com o resultado. Mas 157 foram no link de Descadastro.

Algumas ferramentas de disparo de email até separam esses cliques em descadastro, mas tem problemas que vão além disso.

Usando o mesmo exemplo, se foram 7.057 aberturas de email, ou seja, 23%. Uma ótima taxa de abertura considerando a média dessa base. E foram 105 cliques (fora os descadastros), ou seja, 0,34% de cliques,em cima do número total de disparos, como várias das ferramentas de email calculam.

Mas é desse cálculo que eu discordo completamente.

Eu sempre faço, na mão, outro cálculo.

Se eu quero saber se o conteúdo do email funcionou e levou o cliente a clicar no link, eu só levo em conta quem abriu o email. Quem nem abriu não me importa nisso, já que eles nem leram a mensagem.

Aí eu faço o cálculo de cliques em cima dos emails abertos.

Pego os 7.057 e tiro os 105 cliques, que são 1,4%.

Esse número sozinho também não diz muita coisa. Mas ele já fica pronto para ser comparado com emails com taxas de abertura diferentes.

Por exemplo, um outro disparo que teve praticamente a mesma quantidade de contatos (30.212) mas muito menos aberturas (1.148) e teve apenas 30 cliques, aparece com uma taxa de cliques 0,09%. O que é muito menos que os 0,88 do outro disparo (com os descadastros) e bem menos que os 0,34% de cliques em links úteis.

Fica parecendo que o conteúdo do segundo email foi muito pior que o do primeiro. Afinal, 0,34% é muito mais que 0,09%.

Mas se a gente usa aquele cálculo que eu prefiro, só sobre as aberturas de email, esse segundo tem 2,6% de cliques nos emails que foram abertos. Muito mais que o 1,4% do primeiro email.

Recapitulando pra facilitar entender esse monte de números. Já tirando os cliques em descadastro:

Email 1:

23% de abertura // 0,34% CTR padão // 1,4% CTR de abertos

Email 2:

3,79% de abertura // 0,09% CTR padão // 2,6% CTR de abertos

As duas análises mais fáceis de se fazer, olhando esses números de emails que foram para a mesma base, são:

1: O primeiro email foi mais chamativo para abrirem.

2: O segundo email teve uma conversão muito maior em cliques por abertura, o que indica que o conteúdo do email era mais relevante para quem abriu.

Se eu me baseasse apenas no CTR padrão, não teria identificado que os poucos que abriram o email realmente se interessaram pelo que foi oferecido.

Não faz sentido levar em conta quem nem teve a oportunidade de ver o corpo do email. Isso prejudica a análise misturando quem teve contato com o conteúdo com quem nem sequer abriu a mensagem. Mas essa confusão é induzida por essa prática de mercado de fazer o cálculo da maneira que induz ao erro. Por isso temos que analisar até o que já é tido como padrão.

Os números falam muita coisa. Mas a gente tem que saber interpretar e até questionar as métricas para utilizar da melhor maneira possível.

LinkedIn // Twitter