3 ferramentas para desenvolver uma avaliação de impacto

Para que a aprendizagem seja efetiva, é necessário que a seleção das variáveis de impacto, a construção do grupo de controle e a definição de um tamanho de amostra sejam adequados. A seguir, apresentamos uma série de ferramentas que podem ser úteis nesse processo:  

• Teoria da mudança
  A teoria da mudança consiste em um exercício reflexivo sobre a cadeia causal de uma intervenção, e deve ser realizada no início do desenvolvimento de uma avaliação. Por um lado, é muito útil para determinar as variáveis potenciais de impacto, já que permite pensar estruturadamente nos possíveis resultados (outcomes ou fins) em função das ações ou componentes que a política inclua. Essa prática também permite diferenciar e separar esses resultados dos produtos (outputs ou meios) gerados pelo programa, que embora sejam uma consequência direta, não são as dimensões que realmente refletem as mudanças relevantes derivadas do tratamento. Por exemplo, na hora de avaliar o impacto de uma política baseada na contratação de professores para escolas situadas em bairros violentos, faz mais sentido usar como variável de impacto o desempenho dos alunos (outcomes) que a quantidade de professores contratados (outputs) para obter uma noção mais certeira de qual foi o efeito dessa intervenção.
  
  Da mesma forma, esse exercício permite ter uma ideia dos mecanismos ou canais de transmissão, que são os processos por meio dos quais a intervenção se traduz em mudanças sobre as variáveis de impacto. Assim, através desses fatores, é possível ir além do cálculo do impacto para entender realmente como foi possível chegar a eles. Portanto, é recomendável dedicar um tempo durante o desenvolvimento para pensar detidamente não só nas variáveis de impacto, mas também nos possíveis mecanismos que operam por trás delas, para incluir no plano de levantamento ou coleta de informações uma lista de variáveis relacionadas a eles.
  
  Seguindo o mesmo exemplo, um mecanismo potencial que poderia explicar o impacto da política é a melhoria no conteúdo curricular das matérias ou alguma mudança na estratégia pedagógica implementada pelos novos professores. Embora esse exercício possa ser feito no papel, existem sites na Internet que facilitam sua elaboração.

• Calculadora de poder
  Estando clara a cadeia causal da intervenção e seus resultados potenciais, é importante ter uma noção da viabilidade efetiva da avaliação. Nesse sentido, os cálculos de poder são uma prática que permite determinar a potência estatística de uma avaliação, ou seja, sua capacidade de detectar impactos, se eles existirem. Partindo da mesma concepção, essa atividade pode ser realizada de duas perspectivas. Por um lado, pode ser concebida a partir do efeito mínimo detectável (EMD), que é a menor mudança na variável de interesse, considerando um tamanho de amostra definido e um nível de confiança determinado, que poderia ser atribuída à intervenção e não a outros fatores exógenos. Portanto, toda variação menor que esse valor poderia não ser considerada um impacto, mas algo causado por outros fatores alheios à intervenção. Da mesma forma, pode-se definir o tamanho de amostra ótimo (TMO), em outras palavras, a quantidade mínima requerida de unidades a intervir para poder observar um efeito mínimo detectável definido pelo avaliador.
  
  A abordagem ideal dependerá, em grande parte, da capacidade de alterar o número de unidades tratadas. Quando houver restrições (físicas, financeiras, políticas etc.) para alterar a quantidade de unidades tratadas, calcular o EMD permitirá fazer uma comparação com outros impactos encontrados em avaliações similares e, assim, determinar se de fato teria sentido continuar com a avaliação. Se, ao contrário, existe a possibilidade de modificar a quantidade de unidades a tratar, calcular o TMO é útil para determinar até que ponto é, na verdade, viável e, sendo assim, construir uma justificativa mais robusta que apoie a necessidade de recursos adicionais.
  
  Embora esse cálculo possa ser feito manualmente, é aconselhável usar ferramentas como a calculadora de poder elaborada pela instituição International Initiative for Impact Evaluation (3ie.

• Sistema de informações geográficas (SIG)
  O georreferenciamento é benéfico para uma avaliação de impacto. Na fase de desenho, essa informação é útil para determinar o grupo de unidades que mais se ajustem como contrafatual das unidades tratadas, ou seja, o grupo de controle. Para isso, é preciso contar com algum software que permita processar informações geográficas e, logicamente, dispor de bancos de dados com informações georreferenciadas. Fazendo referência a este último, alguns países destinaram esforços para georreferenciar fontes importantes de informações, como censos ou pesquisas domiciliares. Inclusive, algumas instituições públicas procuraram tomar medidas similares para unidades de observação relevantes como crimes, acidentes, residências, bairros, escolas etc.
  
  Por exemplo, se queremos avaliar o impacto de uma política que consiste na modernização das unidades de transporte de uma linha de metrô sobre o uso desse transporte, poderíamos construir buffers com um raio específico para vincular informações relacionadas às estações (frequência de viagens, taxa de atrasos, afluência de passageiros etc.) com outras relacionadas às residências ou bairros (nível socioeconômico, tamanho, uso atual do sistema etc.) ao redor delas. Dessa forma, ambas as fontes de informação se complementariam para construir, por meio de técnicas quase experimentais, grupos estatisticamente mais comparáveis já não só no que diz respeito à capacidade de operação das linhas de metrô, mas também quanto às características de seus usuários potenciais.