Avaliação de impactos de Tecnologias de Informação e Comunicação na Embrapa é o último artigo da publicado na décima terceira edição da Revista Brasileira de Avaliação (RBAVAL), em seu número especial sobre Mudanças Climáticas, de autoria de Edsel Rodrigues Teles.
Este trabalho analisa a aplicação da metodologia de Avaliação de Impactos de Tecnologias de Informação e Comunicação (Ambitec-TICs) ao Sistema de Monitoramento Agrometeorológico (Agritempo) na Empresa Brasileira de Pesquisa Agropecuária (Embrapa).
O Ambitec-TICs é uma das metodologias de avaliação de impacto utilizadas pela Embrapa desde os anos 2000, complementando abordagens mais quantitativas como o método do excedente econômico. As metodologias Ambitec são predominantemente qualitativas, utilizando entrevistas em profundidade com usuários para coletar percepções e evidências sobre os efeitos do uso da tecnologia. No caso do Ambitec-TICs, específico para TICs, há 12 critérios e 65 indicadores distribuídos em dimensões econômica, ambiental e social. As informações qualitativas das entrevistas são transformadas em coeficientes numéricos e, posteriormente, em índices de impacto que variam de -15 a +15 para cada critério, dimensão e para a tecnologia como um todo.
A metodologia Ambitec-TICs foi aplicada ao Sistema de Monitoramento Agrometeorológico (Agritempo), uma tecnologia da Embrapa Agricultura Digital. O Agritempo é descrito como um sistema pioneiro, gratuito e online que fornece informações climáticas e agrometeorológicas para todo o Brasil, integrando dados dispersos e automatizando processos. Ele serve a diversos beneficiários, como produtores rurais, técnicos, pesquisadores e tomadores de decisão.
Na aplicação ao Agritempo em 2022, foram entrevistados 13 usuários. Os resultados indicaram que o Agritempo obteve índices de impacto positivos em todos os critérios e dimensões avaliados. Os relatos dos usuários mostram um padrão em que o acesso à informação do Agritempo leva a tomadas de decisão em práticas agrícolas que resultam nos impactos observados.
O artigo discute o Ambitec-TICs como um método misto, que transforma elementos qualitativos em quantitativos, o que facilita a comunicação dos resultados. Métodos qualitativos, como as entrevistas em profundidade do Ambitec-TICs, ajudam a entender como a tecnologia é usada na prática e a identificar resultados não esperados. Eles também são úteis para avaliar programas complexos, como o Agritempo, que têm relações de causa e efeito multifatoriais.
Apesar dos impactos positivos identificados, o artigo aponta limitações na aplicação do Ambitec-TICs. Por não ser uma abordagem experimental com grupos de controle, e pela forma como os entrevistados foram selecionados intencionalmente (o que pode gerar viés de seleção), além do tamanho da amostra ser pequeno (13 usuários versus mais de 30 mil em 2022), a avaliação apresenta limitações de validade interna e externa. No entanto, essas limitações são consideradas dentro do contexto prático de uma empresa pública que avalia um sistema gratuito e sem controle de acesso por login. Sugere-se mais pesquisa e o uso de diferentes métodos para verificar a efetividade.
Por fim, o artigo destaca que a avaliação de impactos na Embrapa, incluindo o uso do Ambitec-TICs, está institucionalizada dentro do processo de gestão de desempenho e contribui para o balanço social. Isso a conecta com subsistemas político (regramentos, prestação de contas) e social (disseminação de resultados para a sociedade) da institucionalização. São propostos aprimoramentos para fortalecer essa institucionalização, como a seleção aleatória de tecnologias para o Balanço Social (para reduzir o viés) e a inclusão de avaliações por equipes externas (para trazer novas perspectivas e métodos).
Debate – Essa edição especial da RBAVAL será tema de um debate realizado durante a Semana GLOCAL de Avalição, de 2 a 6 de junho. O evento online, organizado pela Rede Brasileira de Monitoramento e Avaliação (RBMA) em parceria com a Revista Brasileira de Avaliação (RBAVAL), tem como tema “Construindo um Futuro Sustentável: o Papel da Avaliação nas Mudanças Climáticas” e acontece no dia 4 de junho, das 14h às 16h, pela plataforma zoom.
O objetivo principal é disseminar e discutir os principais temas e descobertas apresentados na edição do número especial da Revista Brasileira de Avaliação, promovendo um entendimento mais profundo sobre a relação entre avaliação, mudanças climáticas e desenvolvimento sustentável. O evento também buscará incentivar a colaboração e o intercâmbio de conhecimento entre pesquisadores, profissionais e a sociedade civil.
Participam do debate Marcelo Sette-Mosaner, gerente de Monitoramento, Avaliação e Aprendizagem da Fundação Avina e Felipe Jukemura, pesquisador na Fundação José Luiz Egydio Setúbal, a moderação será de Martina Rillo Otero, gerente de Planejamento, Avaliação e Aprendizagem no Instituto Clima e Sociedade (iCS).