Artigo publicado originalmente na Revista Brasileira de Avaliação – Edição Especial Inclusão Produtiva

Por Paula Fabiani, CEO do IDIS, e Denise Carvalho, Gerente de Monitoramento e Avaliação do IDIS

A inclusão produtiva é um componente essencial das sociedades contemporâneas. O trabalho tem um papel fundamental na vida de grande parte dos indivíduos, e a geração de renda está diretamente ligada à qualidade de vida de uma família. Entretanto, muitos jovens e adultos em idade ativa enfrentam dificuldades de inserção no mercado de trabalho, que ocorre tanto pela via do trabalho assalariado quanto pela geração de negócios autônomos individuais e coletivos. Para superar essas barreiras e promover a inclusão produtiva, empresas, governos e sociedade civil têm trabalhado juntos, criando políticas públicas, programas de capacitação e iniciativas de diversidade e inclusão. Este tema tem se destacado cada vez mais como objeto de estudos na área de avaliação, uma vez que as políticas e programas voltados para a promoção da inclusão no mercado de trabalho podem ser aprimorados a partir de seu monitoramento e avaliação de resultados e impactos.

A avaliação de impacto é uma prática já disseminada e adotada amplamente como ferramenta de tomada de decisão em países como Estados Unidos, Canadá, Alemanha e Inglaterra. No Brasil, ainda apresenta uma aplicação menos destacada, especialmente em decorrência da complexidade e do tempo e custos envolvidos. Entretanto, vemos avanços nos últimos anos, sendo cada vez mais valorizada e aplicada, em especial no contexto do Terceiro Setor¹. Essa prática permite que sejam mensurados os efeitos gerados por projetos e ações dessas organizações, além de ser um importante instrumento para tomada de decisões e aprimoramento de estratégias. Mensurar o impacto é, portanto, o caminho para se desenhar intervenções cada vez mais eficazes e ajudar a edificar sociedades mais justas e sustentáveis.

A Avaliação de Impacto difere de outras formas de avaliação de projetos devido a sua busca por elementos que possibilitem estabelecer uma relação de causa e efeito entre a intervenção e seus impactos. Essa relação de causa (intervenção) e efeito (impacto) é chamada de ‘inferência causal’, ou ‘laços de causalidade’².

Na busca por elementos que possibilitem estabelecer uma relação de causa e efeito –
“inferência causal” – entre a intervenção e seus impactos, existem diversos métodos avaliativos que podem ser aplicados. Alguns desses métodos incluem análise de custo-benefício, análise de custo-efetividade, análise de retorno sobre investimento, análise de impacto social, entre outros. A escolha do método deve ser coerente com a amplitude, duração e objetivos estratégicos do investimento socioambiental, conforme detalhado na Nota Técnica Metodologias de Avaliação Custo-Benefício³. Neste artigo, iremos explorar, entre os métodos avaliativos, o Retorno Social do Investimento (SROI, na sigla em inglês), método de análise custo benefício que vem sendo adotado pelo IDIS – Instituto para o Desenvolvimento do Investimento Social⁴, para avaliar o impacto social gerado por ações socioambientais. Abordaremos, ainda, os principais benefícios, desafios e limitações para avaliar o impacto social de projetos e programas de inclusão produtiva, bem como as principais tendências e abordagens para o futuro.

O SROI⁵ é um protocolo emergente que tem ganhado destaque nos últimos anos como uma ferramenta eficaz para avaliar o retorno social do investimento. Foi criado em meados dos anos 1990 por uma organização britânica chamada The Roberts Enterprise Development Fund (REDF), fundada por George R. Roberts⁶. O objetivo da REDF era apoiar iniciativas de negócios sociais que oferecessem oportunidades de trabalho e gerassem impacto social positivo em comunidades vulneráveis. Nesse sentido, foi desenvolvido como uma forma de avaliar o impacto social gerado pelas organizações sem fins lucrativos apoiadas pelo fundo, considerando tanto os resultados tangíveis como intangíveis.

O protocolo se tornou cada vez mais popular nos anos seguintes, especialmente pelo papel fundamental desempenhado pela Social Value UK⁷ na sua evolução e difusão, sendo adotado por outras organizações ao redor do mundo como uma forma de medir e comunicar o valor social gerado pelas suas atividades.

Hoje em dia, o SROI é amplamente utilizado como uma ferramenta de avaliação de impacto social e financeiro de iniciativas de negócios sociais e de organizações sem fins lucrativos. Ela tem como premissa que projetos e programas devem ser avaliados não apenas pelo retorno financeiro, mas também pelo valor social e ambiental que geram para a comunidade, ou seja, o impacto gerado nas vidas das pessoas, nos bens e serviços públicos, no meio ambiente, entre outros. O SROI utiliza métodos qualitativos e quantitativos em sua jornada avaliativa e valoriza a escuta do público beneficiário em seu processo. No contexto brasileiro, a aplicação do SROI tem crescido em diversas áreas, incluindo os projetos voltados para a inclusão produtiva, tema importante para promoção de desenvolvimento econômico e social, e uma das principais formas de combate à pobreza e desigualdade. Dessa forma, a mensuração do impacto gerado por projetos de inclusão produtiva se torna essencial para avaliação da eficácia e efetividade dessas iniciativas. Vale ressaltar que a aplicação do SROI para avaliação de projetos de inclusão produtiva no Brasil ainda pode ser expandida.

Apesar de existirem alguns estudos e iniciativas nesse sentido, ainda há um grande potencial a ser explorado. Para isso, é fundamental que organizações que atuam com inclusão produtiva incorporem em suas práticas a mensuração do impacto gerado por seus projetos.

Um exemplo ilustrativo no Brasil é a avaliação de Impacto SROI conduzida pelo IDIS para os Amigos do Bem⁸ – organização que atende 150 mil pessoas no sertão nordestino, o semiárido mais populoso do mundo, e que conta com mais de 11 mil voluntários. A avaliação apontou para uma relação de R$ 6,45 em benefícios para a sociedade para cada R$ 1,00 investido pela organização, considerando investimentos realizados no período de 2012 a 2021. O que vale destacar é que esse resultado foi puxado, sobretudo, pela frente de inclusão produtiva, responsável por 37% do resultado. Os impactos nessa frente ocorrem por meio de programas de qualificação profissional, emprego direto em plantas produtivas da organização e em suas atividades meio, assim como o impacto indireto na economia local. Chama a atenção a decisão estratégica dos Amigos do Bem em maximizar o número de postos de trabalho gerados, evitando a mecanização de atividades, e assim contar com as externalidades positivas do emprego em uma região marcada pela seca, agricultura familiar de baixa produtividade e ocupações informais, muitas vezes em condições precárias de trabalho.

Dentre algumas das externalidades positivas aferidas nota-se a redução da violência doméstica, do consumo de álcool e da taxa de natalidade local. Cabe notar, por outro lado, a importância dos demais programas da organização – nas frentes de educação, saúde, habitação, acesso à água e infraestrutura – em proverem as bases para que a inclusão produtiva se efetive e perdure. Nesse sentido, a geração de emprego e renda torna-se o ponto complementar e final para a emancipação socioeconômica dos beneficiários dos Amigos do Bem, que ao longo dos anos são envolvidos por uma jornada de desenvolvimento humano que vai da participação em programas de complementação escolar e de mudança de mentalidade ao acesso a atendimento médico, água, alimentação e condições dignas de moradia.

Conforme demonstrado acima, a aplicação do SROI em projetos de inclusão produtiva
no Brasil pode trazer diversos benefícios. Primeiramente, essa técnica permite que
sejam identificados e mensurados os resultados gerados por esses projetos, de forma a representar sua efetividade e eficácia. Além disso, a avaliação de impacto por meio do SROI pode ajudar a demonstrar a importância e o valor social gerado por projetos de inclusão produtiva, o que pode ser útil para atração de recursos⁹ e engajamento de stakeholders¹⁰, contribuindo para a construção da estratégica de comunicação da organização.

Outro exemplo interessante de SROI de projeto voltado para a inclusão produtiva é o a
avaliação da atuação do CEAP¹¹.

As necessidades dos investidores sociais envolvidos na iniciativa também devem ser
consideradas numa avaliação de impacto. No entanto, não se deve perder de vista os
objetivos da avaliação, que deve buscar analisar a contribuição da iniciativa para o alcance dos objetivos propostos, bem como obter uma visão ampla e objetiva da iniciativa e identificar pontos de melhoria para ampliar o impacto e Nesse sentido, é importante que a avaliação seja conduzida de forma independente e imparcial, visando o interesse geral da iniciativa e dos beneficiários envolvidos, além de ser conduzida com transparência e ética, garantindo assim a confiança dos investidores ao identificar a eficácia do projeto ou programa avaliado.

Outro benefício da aplicação do SROI em projetos de inclusão produtiva é a possibilidade de identificar lacunas e oportunidades de melhoria nessas iniciativas. Por meio da mensuração do impacto gerado, é possível identificar quais aspectos dos projetos estão funcionando bem e quais precisam ser aprimorados. Isso pode levar a um aperfeiçoamento das práticas e estratégias de inclusão produtiva, tornando-as mais efetivas e eficazes, ampliando assim não apenas seus resultados, mas principalmente os impactos gerados para seus beneficiários e para a sociedade.

No entanto, a aplicação do SROI em projetos de inclusão produtiva no Brasil apresenta desafios e possui limitações. Um dos principais é a necessidade de se obter dados confiáveis e precisos para a mensuração do valor social gerado pelos projetos. Isso pode ser um fator limitante, especialmente em regiões remotas ou em comunidades mais vulneráveis, onde a coleta de dados pode ser mais difícil. Além disso, a falta de conhecimento e capacitação em relação à aplicação do SROI também pode ser um obstáculo para sua implementação.

Para superar esses desafios, é fundamental que as organizações que atuam com inclusão produtiva invistam em capacitação e formação de suas equipes, bem como na coleta de dados precisos e confiáveis. Além disso, é de grande importância que haja uma cultura de avaliação de impacto e mensuração do valor social gerado, de forma a tornar essa prática uma parte integrante do planejamento e execução de projetos de inclusão produtiva, ou projetos de qualquer natureza. Outro ponto importante é a necessidade de se estabelecer parcerias e colaborações entre organizações que atuam com inclusão produtiva e outros atores da sociedade, como universidades, institutos de pesquisa e empresas. Essas parcerias podem contribuir para a geração de dados mais precisos e confiáveis, bem como para a disseminação do conhecimento em relação à aplicação do SROI.

Um outro desafio importante de destacar se refere à dificuldade de se avaliar, de maneira rigorosa e precisa num custo acessível, projetos que envolvem mudanças complexas e de longo prazo. No entanto, mesmo nesses casos, é importante não perder o olhar avaliativo, pois existem maneiras simples e pouco custosas de se olhar para o impacto gerado. Uma abordagem possível é a utilização de indicadores de processo, que medem o progresso em relação às atividades planejadas, mesmo que não sejam capazes de medir o impacto real. Além disso, as avaliações qualitativas, como entrevistas e grupos focais, podem fornecer informações valiosas sobre a percepção dos beneficiários e as mudanças comportamentais que foram observadas. Por fim, é possível também utilizar uma abordagem de comparação, confrontando os resultados observados com um grupo de controle (pode ser mais custoso, no entanto) ou com resultados anteriores, para identificar as mudanças que ocorreram. Mesmo que algumas dessas abordagens não forneçam uma avaliação tão rigorosa e precisa, elas ainda são importantes para monitorar o progresso e garantir que o projeto caminhe na direção certa.

A escuta dos beneficiários é outro desafio, mas é um aspecto fundamental da avaliação
de impacto social, uma vez que são as pessoas o foco direto ou indireto dessas avaliações. A percepção dos beneficiários é crucial para entender o impacto que um projeto ou programa está causando em suas vidas, bem como se suas necessidades e expectativas estão sendo atendidas.

Além disso, essa escuta é uma forma de identificar a responsabilização dos projetos e
programas, uma vez que os beneficiários podem fornecer feedback sobre a qualidade dos serviços prestados e a efetividade das intervenções. Ela pode ser realizada por meio de diferentes métodos, como entrevistas individuais, grupos focais, pesquisas e outras técnicas participativas, sempre de forma ética e respeitando a diversidade cultural, garantindo que os beneficiários possam fornecer feedback de forma livre e segura.

Nesse sentido, a avaliação de impacto social também deve considerar a perspectiva de temas transversais, como raça e gênero, para garantir que as intervenções tenham uma abordagem inclusiva e não reproduzam desigualdades sociais. Ao incorporar a perspectiva de gênero e raça na avaliação, é possível identificar se as intervenções estão tendo impactos diferentes em diferentes grupos, permitindo a correção de desigualdades e de injustiças sociais. Além disso, a consideração desses temas transversais é fundamental para que os projetos e programas considerem as necessidades e perspectivas de todos os envolvidos, independentemente de sua identidade de gênero ou raça. Por fim, a incorporação desses temas também ajuda a
promover a conscientização e o engajamento em torno da promoção da igualdade de gênero e racial, um objetivo fundamental da avaliação de impacto social.

O uso de metodologias avaliativas complementares é uma estratégia que também pode gerar resultados interessantes e contributivos na avaliação de impacto social. O uso de diferentes métodos e técnicas, como avaliações qualitativas e quantitativas, pode fornecer uma visão mais completa e precisa dos impactos de um projeto ou programa, bem como de seus fatores de sucesso e desafios. Por exemplo, a combinação de avaliações qualitativas, como grupos focais e entrevistas, com avaliações quantitativas, como pesquisas, pode ajudar a obter informações sobre a efetividade de um projeto ou programa, bem como sobre as percepções e experiências dos beneficiários. Além disso, a utilização de abordagens participativas e de
engajamento dos beneficiários pode ajudar a aumentar a transparência e a responsabilidade do projeto ou programa, além de promover o envolvimento dos beneficiários na melhoria contínua do mesmo. A utilização de metodologias avaliativas complementares é uma forma de aumentar a precisão e a relevância das avaliações de impacto social, gerando resultados mais interessantes e contributivos. O SROI faz uso dessa estratégia uma vez que utiliza métodos qualitativos e quantitativos em seu processo avaliativo.

O campo da avaliação de impacto social está em constante evolução, e novos métodos e tecnologias estão sendo desenvolvidos para melhorar a coleta e análise de dados. Atualmente, há uma pluralidade de métodos disponíveis para avaliar o impacto social de um projeto ou programa, e a escolha do método depende das características do projeto, dos objetivos da avaliação e recursos disponíveis para sua realização. Além disso, a tecnologia tem desempenhado um papel importante no processo de avaliação, permitindo a coleta de dados em tempo real e a análise de grandes quantidades de informações. A inteligência artificial (AI) e outras tecnologias de análise de dados estão sendo cada vez mais utilizadas para melhorar a precisão e eficiência da avaliação de impacto social. No entanto, é importante lembrar que a avaliação de impacto social é uma atividade complexa que envolve a consideração de diversos fatores, e a tecnologia deve ser utilizada com cuidado e sempre em conjunto com outras ferramentas e métodos de avaliação.

Em suma, o SROI é uma técnica avaliativa que apresenta um grande potencial para avaliação de impacto de projetos sociais, incluindo os de inclusão produtiva no Brasil. Permite identificar quais intervenções são mais efetivas em promover a inclusão produtiva, quais as barreiras que ainda precisam ser superadas e quais os grupos que ainda estão sendo excluídos. Além disso, é fundamental que as organizações e a sociedade reconheçam os benefícios da avaliação de impacto de iniciativas de inclusão produtiva, e invistam em estratégias efetivas para promovê-la. Apesar dos desafios mencionados, o processo avaliativo pode trazer diversos benefícios para além da apresentação dos resultados e impacto, como a demonstração do valor social gerado, identificação de lacunas e oportunidades de melhoria. É fundamental que as organizações que atuam com inclusão produtiva invistam em capacitação, coleta de
dados precisos e estabelecimento de parcerias para tornar a avaliação de impacto uma prática integrante de seus projetos. Assim, poderão contribuir ainda mais para o desenvolvimento econômico e social do país, de forma sustentável e inclusiva.

NOTAS

¹O terceiro setor é formado por organizações sem fins lucrativos que atuam em prol do interesse público e buscam solucionar problemas sociais, ambientais e culturais. Entre as principais organizações que compõem o terceiro setor, estão: Organizações não governamentais (ONGs); Organizações da sociedade civil de interesse público (OSCIPs); Fundações e Institutos, Cooperativas, entre outros. Essas organizações atuam de forma complementar aos setores público e privado, prestando serviços e desenvolvendo projetos em áreas onde estes setores não conseguem atuar de forma eficiente ou eficaz.
²Fabiani et al. (2018).
³Faleiros (2021).
⁴O IDIS é uma organização da sociedade civil de interesse público (OSCIP) fundada em 1999 e pioneira no apoio técnico ao investidor social no Brasil. Com a missão de inspirar, apoiar e ampliar o investimento social privado e seu impacto, trabalha junto a indivíduos, famílias, empresas, fundações e institutos corporativos e familiares, assim como organizações da sociedade civil em ações que transformam realidades e contribuem para a redução das desigualdades sociais no país. Mais informações, acesse o site (IDIS, 2023b).
⁵IDIS (2022b, 2023a).
⁶Buffett & Eimicke (2018).
⁷Para mais informações sobre a o protocolo SROI, consultar o website da Social Value UK (2023).
⁸8 IDIS (2022a).
⁹IDIS (2021).
¹⁰Stakeholders são indivíduos ou grupos que possuem interesse, direito ou impacto numa intervenção (programa, política ou projeto). Eles podem incluir, mas não se limitam a beneficiários diretos e indiretos do projeto, parceiros locais, governos, organizações da sociedade civil e doadores. A identificação e a gestão adequada dos
stakeholders são fundamentais para garantir a sustentabilidade e o sucesso do projeto, já que suas necessidades e expectativas devem ser atendidas e equilibradas para garantir a sua aceitação e engajamento.
¹¹IDIS (2018).