Nota metodológica: como implementar Diferenças em Diferenças para medir o impacto?

Ao avaliar o impacto de um programa público, a randomização pode não ser viável por dificuldades logísticas, questões éticas ou políticas, ou porque a intervenção já ocorreu.

Quando isso acontece, é muito provável que os grupos de tratamento (os que recebem o programa) e os de controle (os que não recebem o programa) sejam muito diferentes uns dos outros.

Esse problema pode ser corrigido se houver dados das variáveis de interesse para vários pontos no tempo, especialmente dados anteriores e posteriores à intervenção. Com essas informações seria possível medir o impacto do programa através da implementação da chamada metodologia de Diferenças em Diferenças.

Essa metodologia consiste em aplicar uma dupla diferença, ou seja, busca comparar as mudanças no tempo na variável de interesse entre o grupo de tratamento e o grupo de controle.

Para que essa metodologia seja válida não é preciso que os grupos de tratamento e controle sejam semelhantes entre si em suas características observáveis. Ao contrário do experimento aleatório, onde a condição de equilíbrio é essencial na medição do impacto, no método de diferenças em diferenças a condição necessária para avaliar o impacto é a chamada suposição de tendências paralelas. Isso pressupõe que, na ausência de tratamento, os dois grupos teriam seguido a mesma trajetória nos resultados de interesse.

Vamos supor que temos um grupo de empresas que recebe um subsídio para promover inovação (tratamento) e outro grupo que não recebe (controle). Ao calcular a média das variáveis observáveis para cada grupo, a saber: antiguidade, número de funcionários e nível de rotatividade, as médias de ambos os grupos, antes da intervenção, não devem ser estatisticamente iguais. No entanto, é particularmente relevante observar que a tendência de cada uma dessas variáveis de resultado teria seguido uma trajetória semelhante se o tratamento não tivesse ocorrido. Como essa suposição não pode ser demonstrada uma vez que o tratamento já ocorreu, podemos determinar se, nos anos anteriores à intervenção, a tendência de ambos os grupos teve um comportamento semelhante.

Uma vez verificada essa suposição, somos capazes de medir o impacto aplicando esta metodologia. Em primeiro lugar, deve-se calcular a diferença (mudança), tanto para o grupo de tratamento quanto para o grupo de controle, entre o valor da variável de interesse na linha de seguimento (por exemplo, um ano após o programa) e a linha de base (por exemplo, um ano antes do programa). Em segundo lugar, como a mudança na variável de interesse do grupo de controle representa a mudança que ela teria experimentado no grupo de tratamento na ausência do programa, a segunda diferença é feita entre as mudanças estimadas para o grupo de tratamento e de controle. Assim pode-se obter o efeito médio do tratamento. (ver Gráfico 1)

Gráfico 1. Modelo de Diferenças em Diferenças

A metodologia de Diferenças em Diferenças foi aplicada em múltiplos tópicos de pesquisa.

• Di Tella e Schargrodsky (2004) utilizam, entre outros modelos, o de diferenças em diferenças para medir o impacto do aumento da presença policial em edifícios públicos judeus e muçulmanos da Argentina após o ataque terrorista ao edifício da Amia em 1994. Os autores constatam que as ruas que se beneficiam da presença policial nesses prédios sofrem menos roubos de carros por mês (-75%) em relação às ruas que não contam com essa proteção.
• Lichand et al. (2016) empregam essa metodologia para medir o impacto de um programa de anticorrupção no Brasil, que busca fazer cumprir as regras sobre transferências atribuídas aos municípios. Entre suas descobertas constatam que nos municípios auditados pelo programa de anticorrupção, os casos de superfaturamento e pagamentos não oficiais foram significativamente reduzidos, bem como a manipulação na obtenção de transferências de saúde, em relação aos municípios não auditados. No entanto, o aumento do controle resultou em uma deterioração dos indicadores de saúde, a saber: infraestrutura, disponibilidade de medicamentos, dificuldade em atender às necessidades locais, entre outros.
• Gertler e Boyce (2003) medem o impacto do PROGRESA, um programa de transferências condicionadas à saúde e educação infantil no México. Esses autores utilizam Diferenças em Diferenças para medir o impacto deste programa nos resultados em saúde: constatam que nas áreas onde vivem as famílias beneficiárias do PROGRESA, há um maior número de consultas preventivas em postos públicos de saúde (até +60%) em relação às áreas onde não há beneficiários deste programa.

Se estiver interessado em aprender mais sobre essa metodologia, sua teoria e aplicações, bem como sobre outras metodologias de medição de impacto quase experimentais, está convidado a realizar um dos nossos MOOC gratuitos.

Você está convidado a participar do nosso MOOC Avaliação de impacto para a gestão pública (Intermediário) (2º ed)que estará disponível a partir de 16 de abril. Inscreva-se!

Algumas fontes consultadas:

Angrist, J., & Pischke, J.-S. (2015). Mastering 'Metrics. New Jersey: Princeton University Press.

Gertler, P., Martínez, S., Premand, P., Rawlings, L., & Vermeersch, C. (2011). A avaliação do impacto na prática. Washington DC: Banco Mundial.