Márcia Joppert e Jackson De Toni
11 de dezembro de 2024
Deve-se investir na formação de avaliadores com uma visão interdisciplinar e habilidades relacionadas às práticas pedagógicas mais críticas, reflexivas, participativas e responsabilizadoras
Após uma década de avanços na promoção da cultura de avaliação de políticas e programas, finalmente esse assunto entrou na moda no Brasil, uma vez que a sociedade demanda, cada vez mais, transparência e conhecimento sobre como são empregados os recursos públicos. Após um movimento chamado articulação capitaneado pela RBMA (Rede Brasileira de Monitoramento e Avaliação), que ocorreu durante a transição do último governo federal, no qual diversas instituições clamaram por mais e melhores avaliações de políticas públicas, um estudo do Ipea (Instituto de Pesquisa Econômica Aplicada) revelou que 78% dos ministérios conta com ao menos uma unidade de monitoramento e avaliação. No campo do investimento social privado, a tendência é a mesma. Diversas Fundações, Institutos e Empresas têm investido continuamente em capacidades avaliativas, buscando investimentos mais relevantes, eficazes, efetivos e sustentáveis.
Ao mesmo tempo, o campo da avaliação enfrenta desafios inéditos em um mundo que se transforma rapidamente. Com a intensificação das mudanças sociais, ambientais e tecnológicas, a capacidade de realizar avaliações eficazes que possam guiar decisões sistêmicas e transformadoras se tornou essencial. É nessa linha que a pesquisadora Marcia Joppert, em sua tese de doutorado pela Claremont Graduate University, explora as lacunas e as oportunidades presentes nos programas de educação em avaliação e propõe um caminho para preparar profissionais qualificados e responsivos aos novos tempos.
O estudo se debruça sobre a formação de avaliadores, examinando como os programas educacionais em diferentes regiões do mundo preparam (ou deixam de preparar) esses profissionais para desafios complexos. Sua pesquisa, que utilizou métodos mistos e englobou entrevistas com especialistas internacionais, grupos focais com avaliadores emergentes e uma análise dos currículos de 271 programas distribuídos por todas as regiões do mundo, revela um cenário em que as práticas e métodos de avaliação precisam de uma atualização significativa para acompanhar as demandas da sociedade contemporânea.
Um dos principais achados é a disparidade entre o Norte e o Sul Global no que diz respeito à oferta e ao conteúdo dos programas de avaliação. No Sul Global, há uma menor disponibilidade de cursos específicos e, em muitos casos, falta uma base curricular sólida que contemple temas emergentes, como justiça social, sustentabilidade ambiental e uso de novas tecnologias. Esses temas são cada vez mais relevantes para avaliações que visam promover mudanças sistêmicas, uma vez que abordam questões fundamentais para o desenvolvimento sustentável e inclusivo
A educação em avaliação precisa urgentemente se adaptar a um mundo em mudança, onde a complexidade e a interconexão de desafios exigem uma prática avaliativa que vá além da mensuração de resultados e busque uma compreensão profunda dos sistemas sociais e sua dinâmica
Além disso, a maioria dos programas foca em métodos quantitativos, em detrimento dos métodos qualitativos e mistos, que são considerados essenciais para captar a complexidade e a diversidade de realidades sociais. A falta de metodologias mistas nos programas reflete uma tendência de valorização do que é mensurável, deixando de lado as dimensões perceptivas e singulares que escapam à lógica quantitativa e a compreensão aprofundada que as abordagens qualitativas proporcionam.
Outro ponto destacado é a insuficiente incorporação de habilidades práticas e de mentoria nos programas de formação em avaliação. Segundo os jovens avaliadores que participaram dos grupos focais, a prática e a orientação de profissionais experientes são cruciais para o desenvolvimento de competências dos ingressantes nesse mercado de trabalho. No entanto, poucos programas incluem esses elementos em seu currículo, e a oferta de mentoria é particularmente escassa. Essa falta de apoio prático coloca os novos avaliadores em desvantagem, dificultando o desenvolvimento de habilidades essenciais, como a comunicação e a gestão de projetos, que são fundamentais para o sucesso nesse campo.
A tese também aponta que a integração de novas tecnologias nos currículos de avaliação ainda é limitada. Apesar do potencial dessas ferramentas para otimizar processos, facilitar a colaboração e reduzir custos, apenas uma pequena parcela dos programas declara explicitamente sua inclusão. A lacuna tecnológica nos currículos pode prejudicar a capacidade dos futuros avaliadores de se adaptarem a um cenário em constante evolução, onde o domínio das tecnologias digitais é um diferencial importante para a condução de avaliações mais rápidas e eficientes.
Para que a avaliação seja uma ferramenta de transformação, ela precisa ser interdisciplinar, capaz de interagir com diversas áreas do conhecimento e de oferecer respostas integradas a problemas complexos. Programas generalistas, que abordam a avaliação de forma interdisciplinar, são mais eficazes em desenvolver uma visão ampla nos estudantes, preparando-os melhor para os desafios do mundo atual. No entanto, a maioria dos programas analisados ainda é altamente especializada, centrada em áreas como educação e saúde pública, o que limita a capacidade dos alunos de conectar saberes e de adotar uma perspectiva holística.
Temas como mudanças climáticas, justiça social, direitos humanos e decolonização ainda são raramente abordados nos programas de educação em avaliação. A inclusão desses temas é vista como essencial para formar avaliadores que compreendam e respondam às necessidades das populações marginalizadas, ampliando a relevância e a justiça das avaliações. Ao investigar esses tópicos, o estudo destaca a necessidade urgente de que programas de avaliação em todo o mundo ampliem seus currículos para cobrir essas questões emergentes, que moldam o futuro do campo e da sociedade como um todo.
Para alinhar os programas de avaliação às exigências do mundo atual, o estudo recomenda currículos que incluam: 1) ampliação do uso de métodos mistos, permitindo uma análise mais completa e sensível dos fenômenos sociais. 2) integração de novas tecnologias, equipando os avaliadores para trabalhar com dados de forma mais ágil e acessível. 3) oportunidades para prática e mentoria, proporcionando aos estudantes experiência e suporte profissional. 4) inserção de temas emergentes como sustentabilidade, equidade e direitos humanos, capacitando os avaliadores para atuar em contextos diversificados e em transformação.
Em síntese, a educação em avaliação precisa urgentemente se adaptar a um mundo em mudança, onde a complexidade e a interconexão de desafios exigem uma prática avaliativa que vá além da mensuração de resultados e busque uma compreensão profunda dos sistemas sociais e sua dinâmica. Investir na formação de avaliadores com uma visão interdisciplinar e habilidades relacionadas às práticas pedagógicas mais críticas, reflexivas, participativas e responsabilizadoras é crucial para que a avaliação contribua de forma significativa para a transformação social e para o desenvolvimento sustentável.
Esse estudo abre uma importante discussão sobre o papel da formação específica em avaliação como pilar para o fortalecimento da prática avaliativa. A formação de profissionais capazes de lidar com as questões atuais é, sem dúvida, um passo essencial para que o campo da avaliação se consolide como uma ferramenta de impacto positivo e duradouro.
Márcia Joppert é engenheira pela Escola Politécnica da USP, mestre em administração pública pelo ISCTE/IUL, doutora avaliação e métodos de pesquisa aplicada pela Claremont Graduate University, Estados Unidos. Fundadora e Diretora da Rede Brasileira de Monitoramento e Avaliação. Diretora Presidente da Arandu Consultoria em Avaliação, tem coordenado e trabalhado como especialista em avaliação de programas há 21 anos junto ao setor público, agências da ONU e filantropia no Brasil e nos Estados Unidos. Desde 2024, atua como professora visitante da Enap, ministrando a cadeira de Fundamentos de Avaliação e Monitoramento no Mestrado em Avaliação e Monitoramento de Políticas Públicas.
Jackson De Toni é doutor em ciência política pela Unb (Universidade de Brasília), com uma tese sobre Relações de Estado-Negócios (SBR), uma pesquisa sobre relações público-privadas na política industrial brasileira. Possui mestrado em planejamento urbano e regional pela Universidade Federal do Rio Grande do Sul, na área de mobilidade urbana e licenciado em economia pela Pontifícia Universidade Católica do Rio Grande do Sul. Foi Técnico de Planejamento e Diretor Geral da Secretaria de Planejamento e Gestão do Estado do Rio Grande do Sul (1998/2002), Assessor Especial da Presidência da República (2004/2006) e Gerente de Planejamento e Gestão da Agência Brasileira de Promoção de Exportações e Investimentos (2007/2011). Coordenou e publicou vários estudos sobre indústria brasileira, avaliação de políticas públicas e planejamento estratégico governamental.
Confira a publicação aqui