Avaliação de impacto para inclusão produtiva: Metodologias, desafios e limitações

Artigo publicado originalmente na Revista Brasileira de Avaliação – Edição Especial Inclusão Produtiva

Por Paula Fabiani, CEO do IDIS, e Denise Carvalho, Gerente de Monitoramento e Avaliação do IDIS

A inclusão produtiva é um componente essencial das sociedades contemporâneas. O trabalho tem um papel fundamental na vida de grande parte dos indivíduos, e a geração de renda está diretamente ligada à qualidade de vida de uma família. Entretanto, muitos jovens e adultos em idade ativa enfrentam dificuldades de inserção no mercado de trabalho, que ocorre tanto pela via do trabalho assalariado quanto pela geração de negócios autônomos individuais e coletivos. Para superar essas barreiras e promover a inclusão produtiva, empresas, governos e sociedade civil têm trabalhado juntos, criando políticas públicas, programas de capacitação e iniciativas de diversidade e inclusão. Este tema tem se destacado cada vez mais como objeto de estudos na área de avaliação, uma vez que as políticas e programas voltados para a promoção da inclusão no mercado de trabalho podem ser aprimorados a partir de seu monitoramento e avaliação de resultados e impactos.

A avaliação de impacto é uma prática já disseminada e adotada amplamente como ferramenta de tomada de decisão em países como Estados Unidos, Canadá, Alemanha e Inglaterra. No Brasil, ainda apresenta uma aplicação menos destacada, especialmente em decorrência da complexidade e do tempo e custos envolvidos. Entretanto, vemos avanços nos últimos anos, sendo cada vez mais valorizada e aplicada, em especial no contexto do Terceiro Setor¹. Essa prática permite que sejam mensurados os efeitos gerados por projetos e ações dessas organizações, além de ser um importante instrumento para tomada de decisões e aprimoramento de estratégias. Mensurar o impacto é, portanto, o caminho para se desenhar intervenções cada vez mais eficazes e ajudar a edificar sociedades mais justas e sustentáveis.

A Avaliação de Impacto difere de outras formas de avaliação de projetos devido a sua busca por elementos que possibilitem estabelecer uma relação de causa e efeito entre a intervenção e seus impactos. Essa relação de causa (intervenção) e efeito (impacto) é chamada de ‘inferência causal’, ou ‘laços de causalidade’².

Na busca por elementos que possibilitem estabelecer uma relação de causa e efeito –
“inferência causal” – entre a intervenção e seus impactos, existem diversos métodos avaliativos que podem ser aplicados. Alguns desses métodos incluem análise de custo-benefício, análise de custo-efetividade, análise de retorno sobre investimento, análise de impacto social, entre outros. A escolha do método deve ser coerente com a amplitude, duração e objetivos estratégicos do investimento socioambiental, conforme detalhado na Nota Técnica Metodologias de Avaliação Custo-Benefício³. Neste artigo, iremos explorar, entre os métodos avaliativos, o Retorno Social do Investimento (SROI, na sigla em inglês), método de análise custo benefício que vem sendo adotado pelo IDIS – Instituto para o Desenvolvimento do Investimento Social⁴, para avaliar o impacto social gerado por ações socioambientais. Abordaremos, ainda, os principais benefícios, desafios e limitações para avaliar o impacto social de projetos e programas de inclusão produtiva, bem como as principais tendências e abordagens para o futuro.

O SROI é um protocolo emergente que tem ganhado destaque nos últimos anos como uma ferramenta eficaz para avaliar o retorno social do investimento. Foi criado em meados dos anos 1990 por uma organização britânica chamada The Roberts Enterprise Development Fund (REDF), fundada por George R. Roberts⁶. O objetivo da REDF era apoiar iniciativas de negócios sociais que oferecessem oportunidades de trabalho e gerassem impacto social positivo em comunidades vulneráveis. Nesse sentido, foi desenvolvido como uma forma de avaliar o impacto social gerado pelas organizações sem fins lucrativos apoiadas pelo fundo, considerando tanto os resultados tangíveis como intangíveis.

O protocolo se tornou cada vez mais popular nos anos seguintes, especialmente pelo papel fundamental desempenhado pela Social Value UK⁷ na sua evolução e difusão, sendo adotado por outras organizações ao redor do mundo como uma forma de medir e comunicar o valor social gerado pelas suas atividades.

Hoje em dia, o SROI é amplamente utilizado como uma ferramenta de avaliação de impacto social e financeiro de iniciativas de negócios sociais e de organizações sem fins lucrativos. Ela tem como premissa que projetos e programas devem ser avaliados não apenas pelo retorno financeiro, mas também pelo valor social e ambiental que geram para a comunidade, ou seja, o impacto gerado nas vidas das pessoas, nos bens e serviços públicos, no meio ambiente, entre outros. O SROI utiliza métodos qualitativos e quantitativos em sua jornada avaliativa e valoriza a escuta do público beneficiário em seu processo. No contexto brasileiro, a aplicação do SROI tem crescido em diversas áreas, incluindo os projetos voltados para a inclusão produtiva, tema importante para promoção de desenvolvimento econômico e social, e uma das principais formas de combate à pobreza e desigualdade. Dessa forma, a mensuração do impacto gerado por projetos de inclusão produtiva se torna essencial para avaliação da eficácia e efetividade dessas iniciativas. Vale ressaltar que a aplicação do SROI para avaliação de projetos de inclusão produtiva no Brasil ainda pode ser expandida.

Apesar de existirem alguns estudos e iniciativas nesse sentido, ainda há um grande potencial a ser explorado. Para isso, é fundamental que organizações que atuam com inclusão produtiva incorporem em suas práticas a mensuração do impacto gerado por seus projetos.

Um exemplo ilustrativo no Brasil é a avaliação de Impacto SROI conduzida pelo IDIS para os Amigos do Bem⁸ – organização que atende 150 mil pessoas no sertão nordestino, o semiárido mais populoso do mundo, e que conta com mais de 11 mil voluntários. A avaliação apontou para uma relação de R$ 6,45 em benefícios para a sociedade para cada R$ 1,00 investido pela organização, considerando investimentos realizados no período de 2012 a 2021. O que vale destacar é que esse resultado foi puxado, sobretudo, pela frente de inclusão produtiva, responsável por 37% do resultado. Os impactos nessa frente ocorrem por meio de programas de qualificação profissional, emprego direto em plantas produtivas da organização e em suas atividades meio, assim como o impacto indireto na economia local. Chama a atenção a decisão estratégica dos Amigos do Bem em maximizar o número de postos de trabalho gerados, evitando a mecanização de atividades, e assim contar com as externalidades positivas do emprego em uma região marcada pela seca, agricultura familiar de baixa produtividade e ocupações informais, muitas vezes em condições precárias de trabalho.

Dentre algumas das externalidades positivas aferidas nota-se a redução da violência doméstica, do consumo de álcool e da taxa de natalidade local. Cabe notar, por outro lado, a importância dos demais programas da organização – nas frentes de educação, saúde, habitação, acesso à água e infraestrutura – em proverem as bases para que a inclusão produtiva se efetive e perdure. Nesse sentido, a geração de emprego e renda torna-se o ponto complementar e final para a emancipação socioeconômica dos beneficiários dos Amigos do Bem, que ao longo dos anos são envolvidos por uma jornada de desenvolvimento humano que vai da participação em programas de complementação escolar e de mudança de mentalidade ao acesso a atendimento médico, água, alimentação e condições dignas de moradia.

Conforme demonstrado acima, a aplicação do SROI em projetos de inclusão produtiva
no Brasil pode trazer diversos benefícios. Primeiramente, essa técnica permite que
sejam identificados e mensurados os resultados gerados por esses projetos, de forma a representar sua efetividade e eficácia. Além disso, a avaliação de impacto por meio do SROI pode ajudar a demonstrar a importância e o valor social gerado por projetos de inclusão produtiva, o que pode ser útil para atração de recursos⁹ e engajamento de stakeholders¹⁰, contribuindo para a construção da estratégica de comunicação da organização.

Outro exemplo interessante de SROI de projeto voltado para a inclusão produtiva é o a
avaliação da atuação do CEAP¹¹.

As necessidades dos investidores sociais envolvidos na iniciativa também devem ser
consideradas numa avaliação de impacto. No entanto, não se deve perder de vista os
objetivos da avaliação, que deve buscar analisar a contribuição da iniciativa para o alcance dos objetivos propostos, bem como obter uma visão ampla e objetiva da iniciativa e identificar pontos de melhoria para ampliar o impacto e Nesse sentido, é importante que a avaliação seja conduzida de forma independente e imparcial, visando o interesse geral da iniciativa e dos beneficiários envolvidos, além de ser conduzida com transparência e ética, garantindo assim a confiança dos investidores ao identificar a eficácia do projeto ou programa avaliado.

Outro benefício da aplicação do SROI em projetos de inclusão produtiva é a possibilidade de identificar lacunas e oportunidades de melhoria nessas iniciativas. Por meio da mensuração do impacto gerado, é possível identificar quais aspectos dos projetos estão funcionando bem e quais precisam ser aprimorados. Isso pode levar a um aperfeiçoamento das práticas e estratégias de inclusão produtiva, tornando-as mais efetivas e eficazes, ampliando assim não apenas seus resultados, mas principalmente os impactos gerados para seus beneficiários e para a sociedade.

No entanto, a aplicação do SROI em projetos de inclusão produtiva no Brasil apresenta desafios e possui limitações. Um dos principais é a necessidade de se obter dados confiáveis e precisos para a mensuração do valor social gerado pelos projetos. Isso pode ser um fator limitante, especialmente em regiões remotas ou em comunidades mais vulneráveis, onde a coleta de dados pode ser mais difícil. Além disso, a falta de conhecimento e capacitação em relação à aplicação do SROI também pode ser um obstáculo para sua implementação.

Para superar esses desafios, é fundamental que as organizações que atuam com inclusão produtiva invistam em capacitação e formação de suas equipes, bem como na coleta de dados precisos e confiáveis. Além disso, é de grande importância que haja uma cultura de avaliação de impacto e mensuração do valor social gerado, de forma a tornar essa prática uma parte integrante do planejamento e execução de projetos de inclusão produtiva, ou projetos de qualquer natureza. Outro ponto importante é a necessidade de se estabelecer parcerias e colaborações entre organizações que atuam com inclusão produtiva e outros atores da sociedade, como universidades, institutos de pesquisa e empresas. Essas parcerias podem contribuir para a geração de dados mais precisos e confiáveis, bem como para a disseminação do conhecimento em relação à aplicação do SROI.

Um outro desafio importante de destacar se refere à dificuldade de se avaliar, de maneira rigorosa e precisa num custo acessível, projetos que envolvem mudanças complexas e de longo prazo. No entanto, mesmo nesses casos, é importante não perder o olhar avaliativo, pois existem maneiras simples e pouco custosas de se olhar para o impacto gerado. Uma abordagem possível é a utilização de indicadores de processo, que medem o progresso em relação às atividades planejadas, mesmo que não sejam capazes de medir o impacto real. Além disso, as avaliações qualitativas, como entrevistas e grupos focais, podem fornecer informações valiosas sobre a percepção dos beneficiários e as mudanças comportamentais que foram observadas. Por fim, é possível também utilizar uma abordagem de comparação, confrontando os resultados observados com um grupo de controle (pode ser mais custoso, no entanto) ou com resultados anteriores, para identificar as mudanças que ocorreram. Mesmo que algumas dessas abordagens não forneçam uma avaliação tão rigorosa e precisa, elas ainda são importantes para monitorar o progresso e garantir que o projeto caminhe na direção certa.

A escuta dos beneficiários é outro desafio, mas é um aspecto fundamental da avaliação
de impacto social, uma vez que são as pessoas o foco direto ou indireto dessas avaliações. A percepção dos beneficiários é crucial para entender o impacto que um projeto ou programa está causando em suas vidas, bem como se suas necessidades e expectativas estão sendo atendidas.

Além disso, essa escuta é uma forma de identificar a responsabilização dos projetos e
programas, uma vez que os beneficiários podem fornecer feedback sobre a qualidade dos serviços prestados e a efetividade das intervenções. Ela pode ser realizada por meio de diferentes métodos, como entrevistas individuais, grupos focais, pesquisas e outras técnicas participativas, sempre de forma ética e respeitando a diversidade cultural, garantindo que os beneficiários possam fornecer feedback de forma livre e segura.

Nesse sentido, a avaliação de impacto social também deve considerar a perspectiva de temas transversais, como raça e gênero, para garantir que as intervenções tenham uma abordagem inclusiva e não reproduzam desigualdades sociais. Ao incorporar a perspectiva de gênero e raça na avaliação, é possível identificar se as intervenções estão tendo impactos diferentes em diferentes grupos, permitindo a correção de desigualdades e de injustiças sociais. Além disso, a consideração desses temas transversais é fundamental para que os projetos e programas considerem as necessidades e perspectivas de todos os envolvidos, independentemente de sua identidade de gênero ou raça. Por fim, a incorporação desses temas também ajuda a
promover a conscientização e o engajamento em torno da promoção da igualdade de gênero e racial, um objetivo fundamental da avaliação de impacto social.

O uso de metodologias avaliativas complementares é uma estratégia que também pode gerar resultados interessantes e contributivos na avaliação de impacto social. O uso de diferentes métodos e técnicas, como avaliações qualitativas e quantitativas, pode fornecer uma visão mais completa e precisa dos impactos de um projeto ou programa, bem como de seus fatores de sucesso e desafios. Por exemplo, a combinação de avaliações qualitativas, como grupos focais e entrevistas, com avaliações quantitativas, como pesquisas, pode ajudar a obter informações sobre a efetividade de um projeto ou programa, bem como sobre as percepções e experiências dos beneficiários. Além disso, a utilização de abordagens participativas e de
engajamento dos beneficiários pode ajudar a aumentar a transparência e a responsabilidade do projeto ou programa, além de promover o envolvimento dos beneficiários na melhoria contínua do mesmo. A utilização de metodologias avaliativas complementares é uma forma de aumentar a precisão e a relevância das avaliações de impacto social, gerando resultados mais interessantes e contributivos. O SROI faz uso dessa estratégia uma vez que utiliza métodos qualitativos e quantitativos em seu processo avaliativo.

O campo da avaliação de impacto social está em constante evolução, e novos métodos e tecnologias estão sendo desenvolvidos para melhorar a coleta e análise de dados. Atualmente, há uma pluralidade de métodos disponíveis para avaliar o impacto social de um projeto ou programa, e a escolha do método depende das características do projeto, dos objetivos da avaliação e recursos disponíveis para sua realização. Além disso, a tecnologia tem desempenhado um papel importante no processo de avaliação, permitindo a coleta de dados em tempo real e a análise de grandes quantidades de informações. A inteligência artificial (AI) e outras tecnologias de análise de dados estão sendo cada vez mais utilizadas para melhorar a precisão e eficiência da avaliação de impacto social. No entanto, é importante lembrar que a avaliação de impacto social é uma atividade complexa que envolve a consideração de diversos fatores, e a tecnologia deve ser utilizada com cuidado e sempre em conjunto com outras ferramentas e métodos de avaliação.

Em suma, o SROI é uma técnica avaliativa que apresenta um grande potencial para avaliação de impacto de projetos sociais, incluindo os de inclusão produtiva no Brasil. Permite identificar quais intervenções são mais efetivas em promover a inclusão produtiva, quais as barreiras que ainda precisam ser superadas e quais os grupos que ainda estão sendo excluídos. Além disso, é fundamental que as organizações e a sociedade reconheçam os benefícios da avaliação de impacto de iniciativas de inclusão produtiva, e invistam em estratégias efetivas para promovê-la. Apesar dos desafios mencionados, o processo avaliativo pode trazer diversos benefícios para além da apresentação dos resultados e impacto, como a demonstração do valor social gerado, identificação de lacunas e oportunidades de melhoria. É fundamental que as organizações que atuam com inclusão produtiva invistam em capacitação, coleta de
dados precisos e estabelecimento de parcerias para tornar a avaliação de impacto uma prática integrante de seus projetos. Assim, poderão contribuir ainda mais para o desenvolvimento econômico e social do país, de forma sustentável e inclusiva.

NOTAS

¹O terceiro setor é formado por organizações sem fins lucrativos que atuam em prol do interesse público e buscam solucionar problemas sociais, ambientais e culturais. Entre as principais organizações que compõem o terceiro setor, estão: Organizações não governamentais (ONGs); Organizações da sociedade civil de interesse público (OSCIPs); Fundações e Institutos, Cooperativas, entre outros. Essas organizações atuam de forma complementar aos setores público e privado, prestando serviços e desenvolvendo projetos em áreas onde estes setores não conseguem atuar de forma eficiente ou eficaz.
²Fabiani et al. (2018).
³Faleiros (2021).
⁴O IDIS é uma organização da sociedade civil de interesse público (OSCIP) fundada em 1999 e pioneira no apoio técnico ao investidor social no Brasil. Com a missão de inspirar, apoiar e ampliar o investimento social privado e seu impacto, trabalha junto a indivíduos, famílias, empresas, fundações e institutos corporativos e familiares, assim como organizações da sociedade civil em ações que transformam realidades e contribuem para a redução das desigualdades sociais no país. Mais informações, acesse o site (IDIS, 2023b).
⁵IDIS (2022b, 2023a).
⁶Buffett & Eimicke (2018).
⁷Para mais informações sobre a o protocolo SROI, consultar o website da Social Value UK (2023).
⁸8 IDIS (2022a).
⁹IDIS (2021).
¹⁰Stakeholders são indivíduos ou grupos que possuem interesse, direito ou impacto numa intervenção (programa, política ou projeto). Eles podem incluir, mas não se limitam a beneficiários diretos e indiretos do projeto, parceiros locais, governos, organizações da sociedade civil e doadores. A identificação e a gestão adequada dos
stakeholders são fundamentais para garantir a sustentabilidade e o sucesso do projeto, já que suas necessidades e expectativas devem ser atendidas e equilibradas para garantir a sua aceitação e engajamento.
¹¹IDIS (2018).

Resultados do SROI da Amigos do Bem é destaque no Jornal da Band

No início de 2023, o IDIS finalizou a avaliação SROI (Social Return on Investiment) ou Retorno Social Sobre Investimento da organização Amigos do Bem. O protocolo propõe uma análise comparativa entre o valor dos recursos investidos em um projeto ou programa e o retorno gerado para a sociedade com essa iniciativa. Os resultados foram destaque no Jornal da Band.

A análise indica um retorno positivo dos projetos liderados pela Amigos do Bem: para cada R$ 1,00 investido, a média de retorno é de R$6,45. Os números indicam que a organização provocou um investimento social no nordeste de R$2 bilhões em 10 anos.

Paula Fabiani, CEO do IDIS, comenta os resultados e indica a competência do trabalho realizado pela organização como parte essencial para o alcance dos números. “Os resultados mostram exatamente essa multiplicação do dinheiro doado. E isso é feito por meio do trabalho que é executado, tem uma gestão muito eficiente.”

Saiba mais sobre Avaliação de Impacto e confira o case da Amigos da Bem na íntegra.

Clique aqui e confira a matéria na íntegra.

Alcione Albanesi, fundadora e presidente da Amigos do Bem, é destaque no Valor Econômico

Entrevista publicada na integra no Valor Econômico em 08/03/2023

Após dois anos de pesquisa, o IDIS calculou que os investimentos realizados pela organização Amigos do Bem entre 2012 e 2021 geraram ou ainda vão produzir um impacto social da ordem de R$ 2,1 bilhões. Cada real doado para a ONG, focada em educação, saúde e geração de renda para erradicação da pobreza no sertão nordestino, se transforma em R$ 6,45 na ponta. “É um número extraordinário. Para o tamanho do nosso projeto, que é gigante, é difícil conseguir esse resultado”, afirma Alcione Albanesi, fundadora e presidente da organização.

Em 2023, ao completar 30 anos de dedicação às populações mais pobres do país – de 55 milhões de pessoas que vivem abaixo da linha da pobreza no Brasil, 26 milhões estão na área de atuação da ONG – Albanesi revela que finalmente ficou pronto o “modelo de desenvolvimento social sustentável” da instituição, uma nova metodologia para organizações ou empresas interessadas em replicar o modelo de atuação da Amigos do Bem, inclusive influenciando a transformação de políticas públicas.

Com programas que favorecem 150 mil pessoas todos os meses, em 300 povoados do sertão de Alagoas, Pernambuco e Ceará, a ONG é responsável por mais de 10 mil crianças e jovens com aulas diárias e cursos profissionalizantes de culinária, cabeleireiro, manicure e informática nos chamados centros de transformação instalados em quatro povoados; 187 mil atendimentos médicos, com distribuição gratuita de remédios e óculos de grau; fábricas de beneficiamento de castanha, produção de doces e oficinas de costura e artesanato, que geram mais de 1.500 empregos. Para dar conta de tanto trabalho, 10.600 voluntários formam um pequeno exército do bem, doando tempo para colocar os projetos de pé.

O impacto dessas ações chamou a atenção do Pacto Global da ONU no Brasil, iniciativa da Nações Unidas para engajar o setor privado na agenda da transformação social e climática. Por esta razão, Alcione Albanesi foi escolhida como a primeira liderança com impacto no ODS
1 – cuja meta é a erradicação da pobreza no mundo e que integra os Objetivos do Desenvolvimento Sustentável, firmados na conferência do clima da ONU em 2012.

Confira a entrevista completa no Valor Econômico.

Para concluir projeto de avaliação, IDIS visita unidades do Amigos do Bem

Em viagem ao sertão nordestino, Paula Fabiani, CEO do IDIS, e Felipe Insunza Groba, gerente de projetos da instituição, visitaram as unidades da ONG Amigos do Bem do Vale do Catimbau, em Buíque-PE, e de Agrovila, em Mauriti-CE.

A visita é uma etapa do processo de avaliação SROI (Social Return on Investiment) ou Retorno Social Sobre Investimento, protocolo que propõe uma análise comparativa entre o valor dos recursos investidos em um projeto ou programa e o retorno social gerado para a sociedade com essa iniciativa.

Conheça mais sobre a metodologia aqui.

Amigos do Bem é uma instituição social, que atua há 29 anos no sertão nordestino, nas frentes de saúde, educação, trabalho e renda, moradia e acesso à água potável, rompendo o ciclo de fome e de miséria que assolam a região. A OSC atende mensalmente 150 mil pessoas em Inajá e Catimbau (PE), Mauriti (CE) e São José da Tapera (AL). Para que este negócio de impacto social funcione plenamente, a OSC conta com 10.600 voluntários, distribuídos entre São Paulo e o sertão.

Desde 2020, o IDIS vem trabalhando com a organização e neste ano pôde, por fim, visitar algumas das instalações e acompanhar na prática o trabalho realizado pelos Amigos do Bem. Dentre as suas iniciativas no campo da Educação, além da adoção de escolas públicas locais estão os Centros de Transformação, que possuem uma excelente estrutura física e oferecem atividades de contraturno escolar nos âmbitos cultural, esportivo e de apoio escolar para crianças, adolescentes e jovens da região.

Outras instalações visitadas, como as fábricas de castanha de caju, doces e costura, são importantes iniciativas de geração de renda, espaços que garantem uma estabilidade financeira cada vez maior para os moradores, contribuindo também para a sustentabilidade da organização e de seus impactos. Os Amigos do Bem também são responsáveis por parte importante das estruturas de coleta e distribuição de água nos territórios, com a construção de poços, cisternas e distribuição de caixas d’ água. Mais de 1.2 bilhão de litros de água são distribuídos por ano.

O IDIS conversou com beneficiários, equipe, membros da Governança e voluntários dos Amigos do Bem. “É notável o engajamento e comprometimento de todas as partes envolvidas no projeto, fator essencial para seu sucesso”, comentou Paula Fabiani.

A prática de avaliação de impacto tem sido cada vez mais incorporada por empresas e organizações sociais. No IDIS, é nítido o crescimento da demanda pelo serviço, com XX projetos avaliados apenas neste ano. Entre os clientes, já trabalhamos com organizações como Doutores da Alegria, Gerando Falcões, Parceiros da Educação, Petrobras, Sesc, entre outras.