IDIS promove curso Avaliação de Impacto SROI: conceitos e práticas

Há um interesse crescente sobre avaliação de impacto. Empresas e filantropos desejam saber se os investimentos feitos estão gerando transformações e organizações sociais querem entender como podem gerar ainda mais benefícios socioambientais. Por isso, em outubro, o IDIS oferecerá o curso Avaliação de Impacto SROI: conceitos e práticas. Interessados já pode fazer sua inscrição.

Com 12 horas de duração, divididas em 4 encontros semanais, o curso abordará conceitos gerais de avaliação, concentrando-se nos elementos que compõe o protocolo SROI (Social Return on Investment ou Retorno Social do Investimento). Entre os tópicos, Teoria da Mudança, Pesquisa Qualitativa e Quantitativa, Monetização, Mapa de Impacto, Relatórios, Devolutivas e Comunicação.

O curso será online e realizado por meio de plataforma de EAD. Os encontros serão ao vivo, com gravação disponibilizada posteriormente aos alunos do curso. O valor para participação será de R$ 1.900, com vagas limitadas a 30 participantes.

As aulas serão ministradas por profissionais do IDIS, entre eles a CEO Paula Fabiani, e as gerentes e especialistas em avaliação Laís Faleiros e Raquel Altemani, todas capacitadas pela organização inglesa Social Value. Casos práticos de projetos realizados pelo IDIS para organizações como Amigos do Bem, CEAP, Gerando Falcões, Fundação Sicredi, Santa Marcelina Cultura (Programa Guri), Petrobrás, Sesc, entre outros serão usados para ilustrar as aulas.

O ‘SROI – Social Return on Investment’, ou Retorno Social sobre Investimento, é um protocolo de avaliação que propõe uma análise comparativa entre o valor dos recursos investidos em um projeto ou programa e o valor social gerado para a sociedade com essa iniciativa. Trata-se de uma ferramenta poderosa de mensuração, que além de trazer a monetização do impacto social, integra dados qualitativos e quantitativos capturando a percepção dos beneficiários.

Faça sua inscrição no curso: https://bit.ly/cursosroi

Em agosto, realizamos um evento para explicar do que se trata a abordagem, com a participação de representantes da Gerando Falcões e da Fundação Sicredi. Assista aqui:

 

Nesta sessão, selecionamos artigos, publicações e vídeos sobre avaliação de impacto e SROI. Confira!

#Conhecimento: Avaliação de Impacto e SROI

 

 

Retorno Econômico de Projetos Sociais Corporativos: Limites de Avaliação

A consultora e professora de avaliação de projetos sociais corporativos Maria Cecília Prates Rodrigues analisa o quanto pode ser frágil a metodologia de avaliar os projetos sociais corporativos sob a perspectiva do retorno financeiro, uma vez que os impactos nem sempre podem ser traduzidos em dados monetários confiáveis. Maria Cecília é autora dos livros Ação social das empresas: como avaliar resultados? (FGV, 2005) e Projetos sociais corporativos: como avaliar e tornar essa estratégia eficaz (Atlas, 2010).

Frequentemente vejo as empresas argumentarem que deveriam adotar para os seus projetos sociais a mesma lógica de avaliação utilizada em seus projetos econômicos. Essa lógica baseia-se no fluxo de caixa entre receitas e despesas.

A justificativa para o argumento estaria na objetividade do critério custo-benefício (retorno econômico) que, ao monetizar os impactos sociais, ou benefícios, do projeto e compará-los a seus custos, possibilitaria uma análise sem subjetivismos e “sem paixões”. Uma razão bem ao gosto do setor privado e dos potenciais investidores sociais.

Particularmente, não defendo essa abordagem por um motivo essencial: em projetos sociais, o uso do critério de eficiência, baseado na análise do custo-benefício, só é viável mediante a adoção de uma série de hipóteses. Evidentemente que se deve levar em consideração as experiências e o bom senso do avaliador. Mas há de se reconhecer que, por mais competente que ele seja, existem pressupostos estatisticamente “fortes” e com razoável margem de erro.

Arquivo pessoal: Maria Cecília Prates RodriguesAssim, questiono o grau de confiabilidade da estimativa do retorno econômico, devido à sequência de hipóteses que são necessárias para o seu cálculo e a possibilidade de potencialização de erros em cadeia.

Isso pode ser ilustrado com um exemplo bastante simples. Imagine um projeto de reforço escolar para adolescentes que estão no Ensino Médio de uma escola pública, com dificuldade de aprendizagem. Numa avaliação do impacto social entre o público alvo, constatou-se que, em média, os jovens participantes tinham 12% a mais de chance de ingressar na universidade em relação àqueles que não participavam.

É sempre bom lembrar que estimativas como essas já estão sujeitas a alguns erros quase impossíveis de serem tratados estatisticamente. O principal é o fato de que as características dos adolescentes que compõem o “universo do experimento” são, de antemão, distintas daquelas do “universo do controle”. E, nesse caso, não há como julgar com margem de precisão razoável até que ponto foram as características individuais e/ou familiares do conjunto dos adolescentes participantes do projeto que, na realidade, explicaram a sua entrada  na universidade – e não propriamente o projeto de reforço escolar, ao qual foi imputado efeito positivo de 12%.

Como se vê, as avaliações sociais de impacto já convivem com uma (primeira) hipótese metodologicamente “forte”: a de que se consegue controlar as diferenças do pré-projeto entre os grupos do experimento e de controle. Mas outros pressupostos ainda devem ser acrescidos para viabilizar a estimativa do retorno financeiro. Voltemos ao exemplo.

Custo-benefício

Baseado em pesquisas de âmbito nacional, a segunda hipótese trata da elevação da renda desses adolescentes que tiveram 12% a mais de chance de ingressar na universidade depois de passar pelo curso de reforço escolar. No Brasil de hoje, quem completa o Ensino Superior recebe, em média, rendimentos três vezes maior do que a pessoa que completa apenas o Ensino Médio.

Considerando que a região em que o projeto foi desenvolvido era relativamente pouco dinâmica, essa hipótese foi adaptada, supondo que o rendimento médio dos jovens com grau universitário seria duas vezes superior ao daqueles com o Ensino Médio. De antemão, não se pode esquecer também dos fatores limitadores desse pressuposto, pois o nível de escolaridade é apenas um dos aspectos que explicam os diferenciais de renda. Outros devem ser considerados, como as conjunturas local e setorial, a formação profissionalizante, as características individuais e as redes de contatos.

Para poder estimar o fluxo de caixa desse projeto social, outras duas suposições devem ser incluídas. A terceira diz respeito à trajetória do benefício: como se daria o recebimento da renda mais elevada por aqueles beneficiários do projeto que completaram a universidade? Para fins de estimativa, foi necessário admitir que isso ocorreria ao longo de toda a vida produtiva do participante, em torno de 35 anos.

Também aqui entram em cena os fatores limitadores de antes. Como garantir que aquele diferencial inicial de renda é capaz de se sustentar ao longo dos 35 anos? Sem falar que o poder de influência da ação social tende a perder força ao longo do tempo, frente a tantos outros fatores circunstanciais na vida das pessoas.

Se, por um lado, os ganhos de rendimento propiciados pelo projeto social estariam distribuídos em 35 anos, por outro, os seus custos de implantação e operacionalização ficaram concentrados na fase inicial, possivelmente nos seus primeiros dois anos. Portanto, para viabilizar a comparação entre as rendas e as despesas geradas, todos os valores foram deslocados para uma única data, de modo a estimar o Valor Presente Líquido (VLP) do projeto. Decorre daí a quarta hipótese, referente ao valor da taxa de desconto adotada (de 6% ao ano) para estimar o fluxo de caixa da ação social.

No exemplo em questão, a expectativa seria de que, ao final da análise, o VPL (ou o retorno econômico) do projeto social ficasse positivo, indicando que os benefícios gerados foram maiores do que os custos incorridos.

Se na análise o VPL ficasse negativo, a primeira medida cautelar dos especialistas seria a de rever os pressupostos adotados para a estimativa do retorno financeiro. Seria possível questionar:

  • Os impactos sociais do projeto não foram devidamente quantificados (hipótese 1)?
  • Os critérios adotados para a monetização dos impactos subestimaram os benefícios gerados (hipóteses 2 e 3)?
  • A taxa de desconto utilizada foi mais elevada do que deveria, penalizando o balanço do projeto (hipótese 4)?

Já no caso de VPL positivo, não seria também o caso de questionar se as hipóteses adotadas não foram por demais generosas, “maquiando” o fluxo final de caixa do projeto?

Diante de todo esse quadro duvidoso, pergunta-se qual a alternativa de avaliação mais adequada. Defendo que, na avaliação de projetos sociais corporativos, o critério da eficácia – baseado na avaliação de impacto ou de outros métodos de aferição dos resultados – consegue propiciar uma visão bastante abrangente sobre as mudanças provocadas junto ao público alvo.

Vale lembrar que a análise de impacto, por si só, já pressupõe procedimentos estatísticos complexos e a adoção de hipóteses “fortes” para contornar os aspectos que podem causar confusão na identificação do impacto.

No exemplo, procurei mostrar que, quando se parte para avaliar o retorno financeiro do projeto com base no critério do custo-benefício, é preciso adotar tantas outras hipóteses para viabilizar a estimativa que, ao final, a margem de erro é muito grande. A confiabilidade na estimativa torna-se tão baixa que o avaliador chega a ganhar “carta branca” para revisar a cadeia dos pressupostos. O alegado argumento da objetividade do critério, então, cai por terra.

Por isso, na avaliação da eficiência dos projetos sociais corporativos – demanda bastante legítima das empresas e dos agentes financiadores –, sugiro a adoção do critério do custo-efetividade, por ser bem mais compatível com a lógica da avaliação social. Pois, nesse caso, não há a necessidade de monetizar os resultados sociais atingidos. O que é feito é comparar os custos unitários incorridos em projetos com objetivos finais e níveis de eficácia semelhantes. A possibilidade de erro torna-se  muito menor.
Texto de exclusiva responsabilidade da autora. O Instituto para o Desenvolvimento do Investimento Social (IDIS) abre espaço para a pluralidade de ideias, mas as opiniões expostas não refletem, obrigatoriamente, o pensamento da instituição e de sua equipe.

 

 

Avaliação Permite Medir Efetividade das Ações da Fundação Banco do Brasil

No primeiro artigo que integra a parceria com o Portal do Investimento Social, do IDIS, a Fundação Banco do Brasil (FBB) explica como adotou a metodologia de avaliação de programas e projetos sociais.

Pelo interior do Brasil, serão estabelecidas metas de capacitação presencial para educadores de Estações Digitais. O objetivo é melhorar e ampliar os resultados do Programa de Inclusão Digital da Fundação Banco do Brasil.

Essa iniciativa de melhoria, assim como muitas outras já implementadas em nossos programas, é resultante do empenho da Fundação em mensurar os impactos de suas ações e, com isso, realinhar as que necessitam de ajustes e aprimorar a gestão e a utilização dos recursos aplicados em benefício das comunidades envolvidas.

Repdrodução: Logomarca da Fundação Banco do BrasilDesde 2006, a Fundação BB utiliza sua metodologia de Avaliação de Programas e Projetos Sociais, com o objetivo de medir o potencial transformador das ações empreendidas. O método utilizado conjuga dois tipos de avaliação que se complementam: a de processos e a de impacto.

A primeira promove o levantamento de dados para a tomada de decisões no processo, dos pontos de vista técnico e estrutural, permitindo ajustes necessários para o alcance dos objetivos. Já a avaliação de impacto permite a medição das mudanças produzidas pela intervenção da Fundação nas comunidades. Com isso, tem-se subsídios para a decisão da continuidade da ação, bem como para a prestação de contas das atividades realizadas.

Conceitos como eficácia (ligado às metas), eficiência (relacionado à aplicação dos recursos) e efetividade (referente aos benefícios e mudanças alcançadas) norteiam a metodologia, que se constitui como um pré-requisito de boa gestão.

Avaliar é uma condição indispensável para o gerenciamento de programas e projetos sociais, já que gera conhecimento sobre a ação realizada, fornece dados para verificação da efetividade do caminho escolhido e permite aprimoramento e correção de rumos, quando necessário. A prática possibilita verificar a pertinência, consistência, coerência e viabilidade das ações empreendidas.

Recentemente foi concluído mais processo de avaliação pela  Fundação Getúlio Vargas (FGV). A ação estudada foi o Programa Uma Terra e Duas Águas (P1+2), nos estados da Bahia, Pernambuco e Paraíba. Desenvolvido pela Articulação do Semiárido Brasileiro (ASA), em parceria com a Fundação BB e a Petrobras, o programa incentiva técnicas de convivência com o semiárido por meio da implantação de tecnologias sociais que garantem a existência de água para consumo humano, irrigação e uso animal, nos períodos de estiagem.

O “1” significa terra para produção. O “2” corresponde a dois tipos de água – água potável para consumo humano e água para produção de alimentos. Assim, apesar da pouca chuva, as famílias produtoras podem utilizar água de qualidade durante todo ano, tendo segurança alimentar e nutricional e podendo gerar renda.

Segundo levantamentos da FGV, o programa tem como pontos positivos o fato de os agricultores demonstrarem conhecimento sobre o processo de construção e funcionamento das tecnologias empregadas na produção e a observação de que o P1+2 introduziu o cultivo de hortas, fazendo com que as famílias passassem a consumir mais verduras e legumes.

Por outro lado, outras duas constatações sugerem a necessidade de redirecionamento de esforços: no que se refere às tecnologias empregadas, estas se mostraram eficientes na promoção da segurança alimentar, porém não muito eficazes a geração de renda; e quanto à chamada “segunda água”, percebeu-se que tem ocorrido seu direcionamento para o atendimento das demandas domésticas (que deveriam ser supridas pela “primeira água”). Ao final de todo processo de avaliação, a partir das recomendações do relatório final, tem-se a discussão e a implementação de ações corretivas.

Ao todo, já foram produzidos mais de dez relatórios de avaliações, todas realizadas por empresas contratadas pela Fundação Banco do Brasil, culminando em recomendações de melhorias das ações implementadas pela Fundação e parceiros. A realização do trabalho por instituições especializadas e autônomas garante a isenção, a imparcialidade e a transparência da análise.

Além do processo avaliativo, a Fundação mantém núcleos de monitoramento, responsáveis pelo acompanhamento permanente e sistemático das ações implementadas pelas gerências de Educação e Geração de Trabalho e Renda, utilizando-se de indicadores previamente estabelecidos.

Alguns dos processos avaliativos realizados desde 2006:

 

 

Programa Avaliado 

 Consultoria

Ano

Saneamento Básico na Área Rural (Goiás)  Ecoidéia Serviços Ambientais e Tecnologias Sociais 2006/2007
Produção Agroecológica Integrada Sustentável (PAIS) Fundação Getúlio Vargas 2007
Cadeia do Mel (Piauí) Fundação Getúlio Vargas 2007
AABB Comunidade Hoje Hoje EMP Consulting 2007
Projeto P1 + 2 – Uma terra e duas águas Fundação Getúlio Vargas 2008/2009
Mandiocultura (Bahia) Fundação Getúlio Vargas 2008/2009
Inclusão Digital Hoje EMP Consulting  2008/2009