Introdução
Numa tarde de chá em Cambridge, no início dos anos 1920, uma mulher fez uma afirmação que parecia simples demais para gerar qualquer discussão: ela conseguia dizer, só pelo sabor, se o leite tinha sido colocado na xícara antes ou depois do chá. Para a maioria das pessoas ali, aquilo soou como um capricho. Para Ronald Fisher, um jovem estatístico presente na roda, soou como um problema: quimicamente, a mistura deveria ser idêntica, independentemente da ordem.
Ninguém naquela mesa sabia, mas aquela discussão informal estava prestes a se transformar em um dos experimentos mais citados da história da estatística e a dar origem a uma ferramenta que continua sendo usada quase um século depois: o teste exato de Fisher. Hoje, ele aparece em pesquisas clínicas com poucos pacientes, em testes A/B de amostras pequenas e em estudos científicos que precisam decidir, com rigor, se um resultado é real ou apenas coincidência.
A pergunta que vale a pena carregar ao longo deste texto é a mesma que motivou Fisher naquele dia: como transformar uma afirmação do tipo “eu consigo perceber isso” em algo que possa, de fato, ser testado?
Vem entender como uma xícara de chá ajudou a construir um dos pilares da estatística moderna.
O desafio na mesa de chá
A protagonista dessa história é Muriel Bristol, pesquisadora do laboratório de Rothamsted, na Inglaterra, onde Fisher também trabalhava. Na época, apenas um jovem estatístico dedicado a experimentos agrícolas, tentando aplicar rigor matemático a perguntas que, até então, eram respondidas quase que na base da experiência prática dos pesquisadores. Durante aquele chá da tarde, Bristol declarou que preferia (e conseguia identificar) xícaras em que o leite havia sido despejado antes do chá. Fisher, cético, insistiu que quimicamente não deveria fazer nenhuma diferença. Ela se manteve firme na afirmação.
Foi então que um colega presente, William Roach, soltou a frase que mudaria tudo: “Vamos testar.” Ali, entre risadas e curiosidade, nasceu um dos primeiros exemplos práticos de desenho experimental: a ideia de que uma afirmação não deveria ser aceita ou rejeitada por opinião, mas verificada com um procedimento estruturado.
Fisher preparou 8 xícaras de chá: 4 com o leite adicionado primeiro e 4 com o chá adicionado primeiro, em ordem aleatória e desconhecida para Bristol. O desafio era simples de enunciar: ela precisava provar, identificando corretamente qual grupo era qual, se realmente sentia essa diferença ou se estava apenas chutando.
E é aqui que mora a parte interessante do problema. Suponha que Bristol acertasse todas as 8 xícaras. Isso, por si só, provaria que ela tem essa habilidade? Não necessariamente: mesmo alguém que estivesse apenas chutando aleatoriamente teria alguma chance de acertar tudo por pura sorte. A pergunta que Fisher precisava responder não era “ela acertou?”, mas sim: qual é a probabilidade de alguém acertar tudo isso só por acaso?
Foi exatamente essa pergunta que levou Fisher a desenvolver ali os fundamentos de um teste estatístico que se tornaria um dos mais usados da história.
Do palpite ao teste exato
Para responder a essa pergunta, Fisher precisou pensar em termos de combinações possíveis. Das 8 xícaras, Bristol precisava escolher 4 para classificar como “leite primeiro”. Quantas formas diferentes existem de fazer essa escolha, sem nenhum critério além do acaso? A resposta é 70 combinações possíveis.
Entre essas 70, apenas uma corresponde ao acerto perfeito: identificar exatamente as 4 xícaras certas. Isso significa que, se Bristol estivesse apenas chutando, a chance de acertar tudo por pura sorte seria de 1 em 70, ou aproximadamente 1,4%. Um número baixo, mas não impossível. É justamente esse tipo de raciocínio que caracteriza a hipótese nula: a suposição inicial de que não existe nenhuma habilidade real envolvida, apenas coincidência.
O gráfico abaixo mostra a distribuição completa de probabilidades: quantas xícaras Bristol acertaria, em média, se estivesse apenas chutando aleatoriamente.
Repare que, sob a hipótese de puro chute, o resultado mais provável é acertar 2 das 4 xícaras, com mais de 51% de chance. Acertar todas as 4 é o cenário mais raro da distribuição inteira. É justamente esse contraste que dá força ao teste: quando um resultado extremo (como o acerto total) acontece na prática, a probabilidade disso ser mera coincidência se torna pequena o suficiente para ser descartada com confiança.
Esse raciocínio — calcular a probabilidade exata de um resultado específico em todas as combinações possíveis — foi formalizado por Fisher em 1935, no livro The Design of Experiments, e batizado de teste exato de Fisher. O nome “exato” não é à toa: diferente de outros testes estatísticos da época, que dependiam de aproximações válidas apenas para amostras grandes, o teste de Fisher calcula a probabilidade real, mesmo com poucos dados, como as 8 xícaras daquela tarde.
E, para quem está curioso, Bristol acertou as 8 xícaras.
Por que isso importa fora da xícara de chá
A lógica que Fisher formalizou naquela tarde continua extremamente presente fora da estatística acadêmica. Sempre que uma empresa ou um pesquisador precisa comparar dois grupos, um novo tratamento contra um protocolo padrão, uma versão A contra uma versão B de um produto, um grupo exposto contra um grupo de controle, e os dados formam uma tabela pequena (o que chamamos de tabela 2×2), a mesma pergunta de Fisher reaparece: esse resultado é real, ou pode ser só coincidência?
Essa probabilidade, calculada sob a hipótese de que não existe nenhum efeito real (só o acaso), é o que a estatística chama de p-valor. É exatamente o número que calculamos no tópico anterior: os 1,4% de chance de Bristol acertar tudo por pura sorte. Na prática, quanto menor o p-valor, mais difícil é explicar o resultado apenas pelo acaso, e mais confiança se ganha de que existe, de fato, algo real acontecendo ali. Por convenção, valores abaixo de 5% costumam ser tratados como evidência suficiente para descartar o acaso como explicação.
O problema é que o teste mais comum para calcular essa probabilidade, o qui-quadrado, foi construído com base em aproximações que funcionam bem quando há muitos dados, mas podem falhar justamente quando as amostras são pequenas, exatamente o cenário que Fisher enfrentou com suas 8 xícaras.
Para ilustrar isso, simulamos uma tabela 2×2 nos mesmos moldes do experimento (3 acertos contra 1 erro em cada grupo) e comparamos os dois testes conforme a amostra cresce.
Tabela 2×2 — Exemplo ilustrativo
| Resultados / Protocolos | Sucesso | Fracasso | Total |
| Protocolo novo | 3 | 1 | 4 |
| Protocolo padrão | 1 | 3 | 4 |
| Total | 4 | 4 | 8 |
O protocolo novo teve 3 sucessos em 4 tentativas, contra apenas 1 sucesso em 4 no protocolo padrão. A pergunta é a mesma de sempre: essa diferença é grande o suficiente para não ser explicada só pelo acaso, ou 4 observações por grupo são poucas demais para confiar nisso? Comparamos os dois testes com essa mesma proporção, conforme a amostra cresce.
Com uma amostra do tamanho da de Fisher (8 observações), o teste exato aponta um p-valor de 48,6%, enquanto o qui-quadrado tradicional estima apenas 15,7%, uma diferença considerável, que poderia levar a conclusões erradas sobre a significância do resultado. É justamente nesse cenário, com poucas observações em cada grupo, que a aproximação do qui-quadrado se torna pouco confiável. À medida que a amostra cresce, os dois testes convergem e a diferença praticamente desaparece.
Esse é o motivo pelo qual, quase um século depois, o teste exato de Fisher continua sendo recomendado sempre que uma tabela 2×2 tem poucas observações: ensaios clínicos com poucos pacientes, testes A/B no início de um experimento, estudos de caso-controle em pesquisas raras. Em todos esses casos, usar o teste errado pode significar confiar em um resultado que, na prática, não passa de acaso, ou descartar um efeito real por julgá-lo, erroneamente, não significativo.
Conclusão
A história de Fisher e Bristol podia ter terminado como uma anedota de departamento de estatística, mas se tornou muito mais do que isso. Ela mostra algo que continua verdadeiro quase um século depois: uma afirmação, por mais convincente que pareça, só se torna conhecimento quando é testada com o método certo. E, como vimos, escolher o método certo não é um detalhe técnico menor: pode ser a diferença entre confiar em um resultado real e construir uma decisão inteira em cima do acaso.
É exatamente nesse ponto que entra o trabalho da Estat Júnior. Muitas empresas e pesquisadores já têm os dados, já rodaram análises, já chegaram a resultados, mas não têm a certeza de que a metodologia aplicada é a mais adequada para o problema. É aí que a validação estatística faz diferença: revisar o desenho do estudo, o teste escolhido e as conclusões tiradas, antes que uma decisão importante seja tomada em cima de um número que talvez não sustente o peso que está recebendo.
Fisher precisou de 8 xícaras de chá para perceber que intuição e certeza são coisas diferentes. Às vezes, tudo o que separa um palpite de uma conclusão é a xícara certa sendo analisada da forma certa.
Autor: Pedro da Costa Lacerda
