3 aspectos essenciais da potência estatística nas avaliações de impacto

Recuperar uma máscara de mergulho em uma piscina é o mesmo que fazê-lo no fundo do mar? Se perdermos a máscara em uma piscina, provavelmente poderemos recuperá-la nós mesmos ou com a ajuda de um parceiro. No entanto, perder uma máscara no fundo do mar é mais complicado. Provavelmente precisaremos de várias pessoas para nos ajudar a recuperá-la, caso contrário, podemos afirmar que está perdida, quando na verdade está muito perto de nós.

A potência estatística é representada pelo número de pessoas com que contamos para recuperar nossa máscara de mergulho, uma vez que não está perdida. Do ponto de vista estatístico, a potência é definida como a capacidade que um estudo específico possui de detectar os efeitos de uma intervenção quando realmente foram gerados impactos no grupo tratado. Um dos determinantes mais importantes da potência estatística é o tamanho da amostra do experimento, pois quanto maior for a amostra, mais precisas serão as estimativas e os pesquisadores terão mais probabilidade de detectar os impactos da intervenção avaliada caso realmente existam.

A seguir, descrevemos três aspectos essenciais do papel da potência estatística e sua importância com relação aos resultados decorrentes das avaliações de impacto.

1. Uma avaliação com baixa potência estatística não foi concluída

Se o tamanho da amostra do estudo é muito pequeno, é possível que, embora a intervenção tenha gerado efeitos, não seja possível detectar os impactos sobre a variável de interesse. Portanto, há um risco elevado de que os servidores públicos descartem programas que na realidade foram eficazes e geraram mudanças significativas no grupo tratado. Ao mesmo tempo, a inclusão dessa falsa evidência em publicações especializadas poderia desmotivar a implementação de programas semelhantes no futuro. Nesse sentido, uma avaliação de impacto que não tenha potência estatística para detectar os efeitos não pode alcançar resultados conclusivos, uma vez que, caso não sejam detectados os efeitos, não será possível diferenciar a ineficácia da política (perda da máscara) da falta de potência estatística (número insuficiente de pessoas para recuperá-la).

2. Os cálculos de potência permitem determinar o tamanho de amostra ideal ou definir o efeito mínimo que podemos detectar

No mundo das políticas públicas existem restrições orçamentárias que podem limitar o número de beneficiários de um programa ou o alcance que terá o levantamento de informações associado à avaliação. Para garantir o custo benefício, é possível realizar cálculos de potência antecipadamente e definir o tamanho de amostra ideal ou o efeito mínimo que podemos detectar, dada uma determinada amostra.

Caso a amostra esteja definida e não seja possível ampliá-la, os cálculos de potência nos ajudam a estimar o efeito mínimo da intervenção que teoricamente poderemos detectar considerando-se essas restrições. Quanto menor o efeito mínimo detectável, maior é a potência estatística da avaliação.

Para ilustrar essa afirmação, voltemos ao exemplo: quanto maior for o número de pessoas que nos ajudarão a recuperar a máscara, mais capacitados estaremos para recuperá-la, independentemente de a máscara ter sido perdida no mar ou em uma piscina. Suponhamos que contamos com duas pessoas. Em uma piscina, é provável que nos saiamos bem, mas se estivermos no mar, certamente não conseguiremos recuperá-la. Ou seja, se o efeito efetivo de nossa política acabar sendo pequeno e não contarmos com a potência estatística, é possível que não seja possível observar esse efeito, fazendo com que corramos o risco de afirmar que não houve nenhum impacto, quando na realidade houve.

Os cálculos de potência nos fornecem informações sobre a capacidade que temos para detectar impactos antes de realizar a intervenção. Com base nesses dados, podemos determinar se temos potência estatística suficiente para identificar efeitos, sejam eles grandes ou muito pequenos.

3. O tamanho da amostra é fundamental, mas outros fatores também devem ser considerados

Apesar de ser um fator determinante, o tamanho da amostra e o efeito mínimo que esperamos detectar na avaliação não são os únicos fatores relevantes. A potência estatística também está relacionada à elaboração da avaliação (se houver um ou mais grupos de tratamento) e ao nível de randomização, ou seja, quando a atribuição para tratamento ou controle é feita por grupos (escolas, municípios, hospitais) e não em nível individual. Além disso, é possível que exista um risco de não conformidade e de contaminação ou uma alta taxa de desgaste. Todos esses fatores afetam o tamanho da amostra efetivo e, consequentemente, a potência estatística. Em breve, descreveremos detalhadamente essa relação e suas implicações.

 Os resultados de uma avaliação de impacto podem ter implicações significativas sobre as decisões envolvendo políticas públicas e, portanto, assegurar que esses resultados reflitam realmente o impacto dos programas é fundamental. Nesse contexto, a potência estatística é um elemento essencial a ser considerado pelos responsáveis pela realização da avaliação.