Desafio

Embora a mudança social promovida por um projeto muitas vezes seja perceptível, seu impacto tende a permanecer no campo da subjetividade, sem uma mensuração quantitativa clara. Tornar tangíveis esses impactos é essencial para evidenciar, de forma concreta, a efetividade e o alcance dos investimentos realizados.

Com o objetivo de avaliar a efetividade dos recursos alocados em duas de suas iniciativas na área da educação, o Instituto Ayrton Senna contou com o apoio do IDIS para realizar uma Análise de Custo-Benefício (ACB) – uma das diversas metodologias disponíveis para avaliação e mensuração de impacto.

Os programas Se Liga e Acelera Brasil, voltados para estudantes com defasagem idade-série, atuam há mais de 20 anos em parceria com redes públicas de ensino. Essas iniciativas foram concebidas para promover a alfabetização de qualidade, melhorar a aprendizagem, combater o atraso escolar e fortalecer a gestão educacional no país.

Solução e resultados

A Análise de Custo-Benefício demonstrou que os programas Se Liga e Acelera Brasil geraram um impacto social significativo: para cada R$1 investido, a sociedade obteve um retorno de R$18,56 em benefícios. O valor social total gerado pelas iniciativas foi estimado em R$79,8 milhões. A metodologia utilizada considerou não apenas os ganhos educacionais diretos, mas também as economias proporcionadas ao sistema público.

“A sociedade e o poder público precisam reconhecer que políticas educacionais bem planejadas têm alto retorno social e econômico. Esse estudo contribui para elevar a régua das políticas públicas brasileiras e comprova que investir em educação com base em evidências é uma das formas mais eficientes de reduzir desigualdades e transformar o futuro de milhares de crianças e jovens”, Denise Carvalho, Gerente de Avaliação e Monitoramento do IDIS.

Além dos benefícios monetários, a análise destacou impactos qualitativos e não monetizados, como o fortalecimento da autogestão, a restauração da autoestima por meio da inclusão escolar e o estímulo à justiça social. Há, ainda, expectativa de benefícios futuros para os estudantes, que envolvem maior probabilidade de conclusão do ensino fundamental, menor evasão, fortalecimento de sua autoestima e autoconfiança, avanço para o ensino médio e futura inserção qualificada no mundo do trabalho.

Objetivos de Desenvolvimento Sustentável (ODS)

Sobre a organização

Fruto do sonho do tricampeão mundial de Fórmula 1, o Instituto Ayrton Senna é um centro de inovação que busca acelerar a qualidade da educação pública no país. Fazemos isso por meio de pesquisa e inovação, implementação de programas educacionais e contribuição com políticas públicas. Realizamos parcerias com redes de ensino públicas em todo o Brasil para promover alfabetização, melhoria da aprendizagem, desenvolvimento das habilidades socioemocionais e gestão educacional. Em todos eles, trabalhamos com diagnósticos, formação de educadores e gestores, estabelecimento de metas, monitoramento de indicadores e oferecendo ferramentas e materiais educacionais para serem utilizados em sala de aula. Ao longo de nossa atuação, o Instituto já realizou mais de 39 milhões de atendimentos a crianças e jovens em cerca de 3 mil municípios. Diante dos desafios socioambientais de hoje, acreditamos que transformar vidas por meio da educação seja um caminho essencial para a construção de um país mais justo e um futuro mais sustentável para todos e todas.

Desafio

Para estimar o retorno social dos recursos investidos e analisar a sua contribuição para a sociedade, o Solar Meninos de Luz se juntou ao IDIS para realização de avaliação de impacto de seu Programa de Educação Integral.

O escopo do estudo foi definido com o propósito de quantificar os impactos percebidos pelos alunos da Educação Infantil, Ensino Fundamental I, Ensino Fundamental II e Ensino Médio matriculados na instituição de ensino em 2023.

Solução e resultados obtidos

A avaliação seguiu os preceitos do protocolo avaliativo SROI – Social Return on Investment (ou Retorno Social do Investimento) e teve como principais objetivos e motivadores compreender o impacto do Programa de Educação Integral por meio de um estudo avaliativo que demonstrasse a efetividade dos investimentos realizados pelo Solar Meninos de Luz; e Auxiliar o Solar Meninos de Luz a identificar potenciais pontos de aprimoramento e otimização do impacto gerado pelo Programa de Educação Integral.

O cálculo indicou que o Programa de Educação Integral gerou R$ 43.696.070,34 adicionais em benefícios para a sociedade. O cálculo do Retorno Social do Investimento, por sua vez, indicou que, a cada R$1,00 investido neste programa, foram gerados R$ 7,05 em benefícios para a sociedade.

Confira o Relatório Final da avaliação realizada aqui.

Sobre a organização

O Solar Meninos de Luz é uma organização filantrópica que oferta educação, cultura, esportes e apoio à profissionalização, bem como alimentação e cuidados de saúde, aos alunos de seu programa de Educação Integral, além de ações de assistência social às famílias em situação de vulnerabilidade social das comunidades de Pavão-Pavãozinho e Cantagalo, no Rio de Janeiro.

Fundada pelo Lar Paulo de Tarso – Instituição Espírita de Estudos e Assistência Social, a organização possui 40 anos de existência. O Programa de Educação Integral foi iniciado em 1992.

ODS

Conteúdos relacionados

O que é avaliação de impacto e por que ela é importante?

Protocolo SROI: quando utilizar e como interpretar o índice monetário da avaliação de impacto

Case – Instituto Chamex

Desafio

A avaliação de impacto tornou-se uma prática comum para mensurar os efeitos de iniciativas socioambientais, incluindo aquelas realizadas por organizações da sociedade civil. 

Com o objetivo de aprimorar ainda mais o alcance e a eficácia de suas ações socioeducacionais e culturais com crianças e jovens, o Instituto Moinho Cultural Sul-Americano (IMC) uniu-se ao IDIS para elaborar uma Avaliação de Impacto (SROI).

Solução e resultados

O protocolo de avaliação propõe uma análise comparativa entre o valor dos recursos investidos em um projeto ou programa socioambiental e o valor social gerado para a sociedade por meio dessa iniciativa.

A avaliação de impacto realizada confirma que o retorno social do investimento nas iniciativas do IMC é positivo e substancial. Para cada R$ 1 investido, são gerados R$ 2,79 em benefícios para a sociedade.

A organização demonstrou trazer benefícios importantes aos seus beneficiários, incluindo crianças, adolescentes e jovens. Os resultados corroboram com os depoimentos coletados durante entrevistas, grupos focais e a coleta de questionários quantitativos.

O relatório completo de avaliação de impacto está disponível aqui.

Equipe IDIS em visita técnica ao Instituto Moinho, localizado em Corumbá – MS

Sobre a organização

O Instituto Moinho Cultural Sul-Americano (IMC) contribui na transformação de crianças e adolescentes em situação de vulnerabilidade e risco social da área de fronteira Brasil x Bolívia, através da música, dança, tecnologia e literatura.

Apoio escolar, grupo de convivência e fortalecimento de vínculos também são ações desenvolvidas pelo IMC. Apesar de estar localizado em Corumbá, o Moinho Cultural beneficia crianças e jovens do município de Ladário e das cidades bolivianas de Puerto Suarez e Puerto Quijarro, o que possibilita um importante intercâmbio cultural.

Como resultado dos 16 anos de trabalho, a instituição conta com a Companhia de Dança do Pantanal e a Orquestra de Câmara do Pantanal.

Desafio

Apesar de prevista em lei, a ressocialização de presos é um desafio no Brasil. Em todo o país, apenas 24% dos presos trabalham, segundo dados da Secretaria de Políticas Penais.

a capacitação da mão de obra é uma via para um processo eficaz de ressocialização e para a redução da reincidência criminal. Com esse propósito em mente, o Instituto Movi o Bem trabalha para profissionalizar, capacitar, gerar renda e empregabilidade para mulheres, privadas de liberdade, que buscam por meio do trabalho uma segunda chance na sociedade.

O Instituto Movi o Bem procurou o IDIS em busca de apoio para o desenvolvimento de indicadores específicos que permitissem à equipe executora do projeto de capacitação profissional de mulheres em regime semiaberto monitorar e coletar informações que demonstrassem os impactos gerados nas beneficiárias diretas do programa, por meio de evidências concretas.

Solução e resultados

Para atender a essa demanda, o IDIS propôs a elaboração, com base na Teoria da Mudança, de um instrumento de coleta de dados que permitisse à organização obter rapidamente informações sobre o impacto do projeto.

Através desse processo, foi possível concluir que os resultados alcançados foram bastante positivos para o projeto piloto, além de revelar diversas oportunidades de melhoria para os próximos ciclos.

ODS

Sobre a organização

A missão do Instituto Movi o Bem é profissionalizar, capacitar, gerar renda e empregabilidade para mulheres, privadas de liberdade, que buscam por meio do trabalho uma segunda chance na sociedade.

Conteúdos relacionados

#Conhecimento: Avaliação de Impacto e SROI

O que é avaliação de impacto e por que ela é importante?

Case – Instituto GPA

Desafio

A Firjan (Federação das Indústrias do Estado do Rio de Janeiro) através da Gerência de Projetos Integrados de Responsabilidade Social – GRS, atua de forma consultiva tática e estratégica com empresas que buscam novos modelos de negócio, com foco em resultados sustentáveis, associados ao desenvolvimento humano e promoção da diversidade e inclusão social, por meio de projetos e ações com a geração de valores para colaboradores, comunidade do entorno da área de atuação e fornecedores diretos ou indiretos das empresas.

Em 2022, a equipe da Firjan identificou a necessidade de criar e definir indicadores para medir o impacto de seu portfólio, a fim de acompanhar melhor os resultados e ajustar as estratégias, quando necessário. Com base nessa definição, eles pretendiam desenvolver sua teoria da mudança, marco lógico e indicadores estratégicos para esse acompanhamento.

Após essa definição, a Firjan desejava disseminar esse conhecimento para o restante da equipe por meio de capacitações, possibilitando a implementação das estratégias desenvolvidas.

Solução

Para apoiá-los nessas definições, a Firjan contou com o IDIS em todas as fases, desde a construção do plano de monitoramento e avaliação até as capacitações ao time interno.

Inicialmente, a equipe do IDIS realizou um diagnóstico das práticas e ferramentas de M&A da DPIRS. Para tanto, foram analisados mais de 40 documentos de projetos do portfólio e realizadas 6 entrevistas em profundidade com líderes de projetos, membros da equipe de projetos, incluindo a área de Desenvolvimento Humano. Os resultados deste diagnóstico geraram insumos para a construção da teoria de mudança, definição de marco lógico e construção do plano de monitoramento e avaliação efetivamente.

Com o plano em mãos, foram realizadas 7 oficinas com cerca de 20 colaboradores da Firjan, além de outros encontros ocorridos para assessoria à equipe da DPIRS na implementação do plano de monitoramento e avaliação dos projetos sociais.

“Realizar a capacitação em monitoramento e avaliação, não só possibilitou o desenvolvimento profissional contínuo da equipe em habilidades essenciais para coleta, analisa e interpretação dos dados de forma mais eficiente, permitindo uma compreensão mais profunda do progresso e dos resultados alcançados pelos nossos projetos. Isso não apenas ajuda a identificar possíveis riscos, mas também oferece insights valiosos para otimizar estratégias e alocar recursos de maneira mais eficaz. Os benefícios dessa capacitação se estendem além do âmbito interno da organização, impactando positivamente as comunidades e stakeholders envolvidos nos projetos. Uma avaliação de impacto sólida não só valida o valor das iniciativas, mas também fornece evidências tangíveis para apoiar a prestação de contas e a transparência, construindo confiança e credibilidade com parceiros e financiadores”, comenta Fernanda Medeiros, Coordenadora de Gerencia de Projetos Integrados de Responsabilidade Social da Firjan

ODS

Sobre a organização 

A organização representa todas as indústrias do estado do Rio, que conta com 101 sindicatos e cerca de 5.100 colaboradores e estagiários. A partir de suas organizações – Firjan SESI, Firjan SENAI, Firjan IEL e Firjan CIRJ – a Firjan atua em áreas fundamentais, como a competitividade empresarial, a educação e a qualidade de vida do trabalhador e de seus familiares.

Conteúdos relacionados

#Conhecimento: Avaliação de Impacto e SROI

O que é avaliação de impacto e por que ela é importante?

Case – Instituto GPA

Desafio

A educação é, sem dúvida, uma ferramenta vital para a transformação e inclusão social. É nessa crença que se baseia a atuação do Instituto Baccarelli. A organização oferece atividades educacionais e artísticas para os jovens de Heliópolis e de mais 12 territórios na cidade de São Paulo.

Apenas em Heliópolis, mais de 1.400 crianças e jovens participam anualmente dessas atividades, que incluem aulas de musicalização infantil, corais, ensino de instrumentos e participação em orquestras. O propósito por trás de todo esse trabalho é promover a transformação nas populações das regiões periféricas de São Paulo.

Com um grande número de vidas sendo impactadas, fica o desafio: como compreender objetivamente o impacto que a iniciativa gera na sociedade?

Solução

Para responder a essa pergunta, o Instituto Baccarelli procurou o IDIS para realizar uma Avaliação de Impacto SROI da iniciativa. Além de obter evidências e métricas sobre as transformações sociais resultantes das ações empreendidas, a metodologia permitiu avaliar o alcance de seus objetivos iniciais. Também identificou áreas para melhorias, ampliando ainda mais o impacto positivo na sociedade.

Resultados obtidos

Os resultados dessa avaliação apontam que as ações do Instituto Baccarelli são capazes de impactar positivamente a sociedade. Para cada R$1,00 investido pelo Instituto Baccarelli são gerados R$3,49 na forma de benefícios sociais para a sociedade.

Além disso a análise qualitativa da iniciativa identificou um conjunto de quatro mudanças positivas na vida de seus beneficiários:

• Desenvolvimento de habilidades cognitivas;
• Ampliação das perspectivas de futuro profissional e pessoal;
• Desenvolvimento de competências socioemocionais; e 
• Relacionamentos interpessoais melhorados.

“Há mais de 27 anos, o Instituto Baccarelli tem impactado a comunidade de Heliópolis, transformando vidas por meio da educação, da cultura e da inclusão social. O protocolo SROI que a equipe do IDIS aplicou com tanta profundidade, sensibilidade e excelência, nos trouxe a oportunidade de tangibilizar e identificar indicadores desse impacto social, baseados em dados e metodologia científica. Além de muito nos orgulhar com os impactos apurados nesse primeiro estudo do SROI, eles nos permitem criar um diálogo ainda mais efetivo e engajado com a sociedade, fundamental para a continuidade do trabalho do Instituto Baccarelli”, afirma Mauricio Cruz, gerente de desenvolvimento institucional do Instituto Baccarelli.

Sobre a organização

Uma das mais respeitadas organizações sociais sem fins lucrativos e não governamentais do Brasil, o Instituto Baccarelli promove há mais de 27 anos transformação e inclusão social por meio da educação para Heliópolis e outras regiões de São Paulo. ​ 

Em Heliópolis, realiza um trabalho social por meio da música e da dança, além de ter formado a primeira orquestra sinfônica do mundo em uma favela, a Orquestra Sinfônica Heliópolis, que conta com a regência titular e direção artística de Isaac Karabtchevsky, decano da regência no país. 

Em outros pontos da capital, atua com cultura, esporte, lazer, recreação e tecnologia a partir de contrato firmado com a Secretaria Municipal de Educação para a gestão de 12 unidades de Centros Educacionais Unificados, os CEUs, levando a consistente trajetória de transformação social por meio da educação para outras regiões da cidade.

Conteúdos relacionados

O que é avaliação de impacto e por que ela é importante?

Protocolo SROI: quando utilizar e como interpretar o índice monetário da avaliação de impacto

Case – Instituto Chamex

Desafio

O Brasil possui milhares de lideranças políticas, atuantes em níveis municipais, estaduais e federais. Estes líderes desempenham um papel crucial ao se comprometerem a resolver uma ampla variedade de demandas da sociedade. Reconhecendo a importância desses líderes como catalisadores de mudanças sociais e seu papel vital no avanço dos direitos fundamentais dos cidadãos, surgiu o RenovaBR. Atualmente, a organização é o principal programa de formação política no Brasil e é reconhecido internacionalmente como uma referência no setor.

Desde sua criação em 2017, o RenovaBR tem se empenhado em compreender de maneira precisa e objetiva o impacto que a organização exerce sobre seus beneficiários diretos, ou seja, as pessoas que passam pelo processo de capacitação política. Em 2022, para aprimorar essa busca por resultados, o RenovaBR optou por colaborar com o IDIS na realização de uma avaliação de impacto.

Solução

O IDIS apoiou o RenovaBR na realização de um SROI (Retorno Social sobre Investimento), um protocolo de avaliação que compara o valor dos recursos investidos em um projeto ou programa com o valor social gerado para a sociedade.

O primeiro passo foi criar uma Teoria da Mudança (TdM), um instrumento que descreve como as atividades de um programa buscam alcançar resultados a curto e médio prazo e o objetivo estratégico a longo prazo da organização. Para a etapa, a equipe do IDIS analisou documentos da organização, realizou entrevistas com seus principais stakeholders e definiu que o objetivo a longo prazo era “qualificar a forma de fazer política no Brasil, promovendo diversidade, ética, diálogo e ações baseadas em dados e evidências.”

Com a Teoria da Mudança solidamente estabelecida e compartilhada com o RenovaBR, o IDIS avançou para a definição e mensuração de variáveis avaliativas, tanto qualitativas quanto quantitativas. A abordagem qualitativa, que fundamentou as variáveis avaliativas, foi conduzida por meio de entrevistas em profundidade e grupos focais envolvendo os beneficiários da organização. Dentre as mudanças percebidas, destacam-se a ampliação da consciência cidadã, o fortalecimento de valores éticos, o desenvolvimento do autoconhecimento, uma perspectiva mais crítica e um aprimoramento das relações profissionais.

Na etapa quantitativa, o objetivo era mensurar a magnitude das mudanças experimentadas pelos beneficiários. Para atingir esse propósito, os beneficiários participaram de um questionário elaborado para compreender a atribuição das mudanças ao RenovaBR, assim como para avaliar a percepção de valor social sem vinculação a essas transformações.

Por fim, como entrega final, o IDIS produziu um relatório com todos os achados da avaliação.

Resultados

A avaliação confirmou um Retorno Social sobre o Investimento positivo do RenovaBR. A organização gera impactos substanciais para seus beneficiários diretos, aqueles que participam do programa com o objetivo de serem agentes de mudança positiva na política brasileira. Esses benefícios superam em três vezes o investimento realizado. Em outras palavras, para cada R$1 investido na organização, são gerados R$3,10 em benefícios sociais.

Com base na identificação dos impactos e em sua intensidade, o IDIS também pôde sugerir algumas abordagens para maximizar o impacto social. Algumas das recomendações foi investir mais nos ex-alunos, que acumularam experiência tanto no conteúdo das formações quanto na experiência prática do ser político, e um maior acompanhamento da organização durante e após as campanhas eleitorais.

Sobre a organização

Fundado no ano de 2017, o RenovaBR se caracteriza como uma escola que visa formar novos quadros de lideranças políticas no Brasil, desenvolvendo habilidades técnicas e socioemocionais por meio de cursos que tratam de políticas públicas, comunicação política, organização de campanha, governança e governabilidade.

Desde a sua fundação já foram realizados três ciclos formativos, sendo dois ciclos voltados aos pleitos gerais de 2018 e 2022, respectivamente, e um ciclo voltado ao pleito municipal de 2020. Além das formações políticas iniciais, o RenovaBR oferta ainda formações de caráter continuado para ex-alunos eleitos como parlamentares ou como membros do poder executivo. Entre os anos de 2018 e 2022 foram 13 formações continuadas ofertadas, perfazendo uma carga horária de aproximadamente 400 horas no total.

Segundo dados da própria organização, já são mais de duas mil lideranças políticas formadas, de origens e posicionamentos políticos diversos, dentre as quais pelo menos 30% ocupam hoje cargos de liderança na gestão pública brasileira.

ODS

Conteúdos relacionados

Protocolo SROI: quando utilizar e como interpretar o índice monetário de avaliação de impacto

O processo avaliativo como um percurso necessário para a maximização do impacto socioambiental positivo

Com atuação em mais de 70 países, a Plan International promove os direitos das crianças e a igualdade para meninas. No Brasil desde 1997, tem como prática o monitoramento e avaliação de impacto de seus projetos, programas e ações de incidência e de mobilização social. Com uma equipe interna focada exclusivamente em pesquisa e controle de indicadores, contou com o apoio do IDIS para uma formação sobre o protocolo SROI, que permite a monetização dos impactos gerados por uma intervenção.

“Mostrar o impacto dos projetos de forma precisa e confiável é uma prática que favorece o reconhecimento dos nossos projetos não somente por nossos doadores, como também pelos demais parceiros e comunidades com quem e onde as iniciativas são implementadas”, comenta Cynthia Betti, diretora executiva da organização.

Com mais de 30 anos de atuação, a Associação Nova Escola tem como missão fortalecer professores para transformar a Educação pública brasileira e possibilitar que os alunos desenvolvam o máximo do seu potencial. É referência entre educadores do Brasil, oferecendo cursos formativos, geração e difusão de conhecimento para informação e aplicação prática dentro da sala de aula. Entre seus projetos está a ‘Plataforma Nova Escola’, acessada por cerca de 3,1 milhões de pessoas por mês e que foi objeto de um processo de avaliação de impacto pelo IDIS. A partir de pesquisas qualitativas e quantitativas, foram identificadas fortalezas e pontos de melhoria para o projeto.