Fortalecimento da Avalia

1
Fortalecimento da Avaliação de Projetos Sociais
no Brasil
2

• Objetivos do projeto
• Conhecer o estado da arte da avaliação de
  programas e projetos sociais no Brasil.
• Contribuir para a articulação de uma comunidade
  de avaliadores.
• Conhecer e debater a produção acadêmica
  brasileira focada em avaliação de programas e
  projetos sociais.
• Produzir material de apoio à reflexão e prática
  da avaliação no Brasil.

3
Identificação e análise da produção acadêmica
brasileira sobre avaliação de projetos sociais
4
Objetivos

• 1º objetivo localizar um conjunto de trabalhos
  acadêmicos de interesse para a área de avaliação
  de programas e projetos sociais
• 2º objetivo iniciar algumas análises sobre ela,
  a partir das seguintes perguntas
• O que a academia tem produzido sobre avaliação de
  programas e projetos sociais?
• Que campos do saber têm se dedicado à estudar a
  avaliação?
• O que estudam em relação à avaliação?
• Como esta produção pode contribuir com as
  práticas de avaliação no Brasil?

5
Síntese do método
1. Localização de estudos (dissertações de
mestrado, teses de doutorado ou trabalhos de
conclusão de cursos de pós-graduação) que
formassem uma base abrangente sobre o campo
sócio-ambiental (público e privado)
2. Localização aproximada de estudos que poderiam
se aproximar do campo da avaliação.
3. Seleção dos estudos específicos que do campo
da avaliação.
4. Análises preliminares desses estudos
6
Método - 1. Localização de estudos Escolha das
base de dados

• Banco de Teses (CAPES)
• Base referencial
• Ampla cobertura e satisfatória organização mais
  de 400 mil Dissertações e Teses
• Preenchimento obrigatório pelos PPG
• Atualização feita principalmente para a
  avaliação trienal
• Objetivo subsidiar avaliação e acompanhamento
  da pós-graduação
• Criada em 2002
• Período 1987/2007

• Biblioteca Digital de Teses e Dissertações
  (IBICT)
• Base com texto completo
• Ampla cobertura e satisfatória organização Mais
  de 67 mil dissertações e teses.
• Bibliotecas credenciadas
• Atualização variável (diária) ? bibliotecas não
  credenciadas
• Objetivo disseminar informações
• Criada em 2002
• Período 1970/2008

Mais completa
Disponibiliza texto completo
7
Método - 1. Localização de estudos Definição de
termos e palavras-chave

• Definição de termos, palavras-chave e associações
  por consultores em avaliação de projetos
  sociais
• Decisão de realizar a busca, numa primeira etapa,
  a partir de um grupo restrito de palavras
• Escolha de termos abrangentes
• minimizar perda de informações
• CAPES ONG organização não-governamental,
  programa social, projetos sociais e terceiro
  setor
• IBICT ONG organização não-governamental,
  programa social, projetos sociais, terceiro setor
  e políticas sociais

8
Método - 1. Localização de estudos Definição de
termos e palavras-chave

• Busca nas bases a partir das palavras e
  expressões realizadas por um biblioteconomista.
• CAPES termo a termo ? expressão exata ? campo
  assunto ? 16 a 30 de julho ? 1987/2007
• IBICT entre 15 e 20 de agosto de 2008 ? com a
  expressão no título e resumo 1970/2008
• Produção de uma base de 1393

Base abrangente com estudos relacionados ao campo
social
9
Método - 2. Localização aproximada de estudos do
campo da avaliaçãoTratamento do material

• Unificação das bases CAPES e IBICT
• Exclusão registros duplicados
• Localização de palavras-chave que
  caracterizariam nossa área de interesse mais
  específica.

Avaliação Abordagens Estudo e Ensino Monitoramento Análise Gestão Valor Indicadores Eficiência Eficácia Efetividade Administração Estratégia Gerenciamento Planejamento Responsabilidade Social Sócio-ambiental Resultados Políticas E Projetos Sociais Programas Sociais Terceiro Setor Ação Social Políticas Sociais ONG Organização Não-governamental Fundação Instituto Empresarial Resultados Sociais Impactos Sociais
10
Método - 2. Localização aproximada de estudos do
campo da avaliação Tratamento do material

• Seleção de estudos que tivessem pelo menos um dos
  cruzamentos acima.
• Leitura de títulos e resumos a partir de uma
  amostra (200) análise qualitativa e afinamento
  de critérios
• Novo critério manter apenas estudos que
  continham pelo menos Gestão e duas das
  palavras/expressões ou se estivesse associada aos
  termos Programa(s) social(is) ou Projeto(s)
  social(is) 577
• Exclusão de estudos que não eram nada
  significativos (distorções e ruídos da busca)

541 estudos com maior grau de relevância.
11
Método - 3. Seleção dos estudos específicos que
do campo da avaliação.Análises

• Leitura dos títulos e resumos de 391 registros e
  análise a partir dos seguintes recortes
• É significativo? Realmente é de interesse
  específico do campo da avaliação?
• Em que Instituição foi produzida e defendida
  (região de localização)?
• Em que ano foi publicado?
• Em que área do conhecimento?
• Qual o tema do estudo
• Quais as palavras-referência que o identificaram?

12
MétodoAlgumas aprendizagens a partir do método

• Área difícil de definir
• muitas palavras giram em torno da área
• A palavra avaliação sozinha não se mostra a
  melhor para localizar estudos de avaliação!
• Amplitude de possibilidades, aplicações,
  metodologias, objetos...
• Na leitura dos estudos se identificam muitas
  possibilidades de fazer avaliações.
• Ao mesmo tempo, não é qualquer análise que pode
  ser chamada de avaliação
• Qualquer recorte/ definição parece um pouco
  arbitrária e será parcial.

13
A produção acadêmica em avaliaçãoOnde se esconde
a avaliação de programas e projetos
sociais?Análise das palavras-referência (base de
130 estudos)
Ocorrência
Análise 68
Avaliação 61
Resultados 52
Gestão 51
Políticas sociais 40
Organizações não governamentais 40
Projetos sociais 36
Programas sociais 32
Terceiro setor 29
Estratégia 23
Valor 22
Ocorrência
Abordagem 19
Eficiência 18
Efetividade 17
Indicadores 17
Ação social 14
Planejamento 12
Responsabilidade social 12
Eficácia 11
Fundação 11
Administração 9
Monitoramento 4
Gerenciamento 1
Sócio-ambiental 1

• Mais análise do que avaliação
• Mais resultados do que processos
• Muita gestão
• Mais políticas, projetos e programas sociais do
  que ONG ou Terceiro Setor

14
A produção acadêmica em avaliaçãoOnde se esconde
a avaliação de programas e projetos
sociais?Análise das palavras-referência
15
ResultadosA base construída

• 577 dissertações e teses que representam uma base
  relevante para o campo, porém
• 66 Não são dissertações e teses relativas à área
  de avaliação
• 35 são dissertações e teses relativas à área de
  avaliação.

Base relevante
Avaliação
Debate conceitual, metodológico ou político sobre avaliação
Avaliação de programa ou projeto do 3º setor
Avaliação de programa sócio-ambiental público Avaliação Econômica
Outros focos
Questões jurídicas 3o setor
Análises históricas e contextuais de propostas de políticas sociais
Estudos de técnicas e metodologias específicas de gestão
Discussões sobre propostas de de gestão de políticas sociais
Outros
Gestão do 3º setor
Questão política e 3o setor
Responsabilidade social
Capital Social
Redes sociais

6
30
29
35
16
A produção acadêmica em avaliaçãoTemas
Análises a partir da base avaliação
17
A produção acadêmica em avaliaçãoAno de defesa

• A variação anual parece acompanhar o mesmo
  movimento da produção acadêmica no geral (em
  comparação com o BDTD)...

ano  Produção em Avaliação
1995 2
1996 0
1197 0
1998 1
1999 6
2000 11
2001 3
2002 12
2003 17
2004 24
2005 36
2006 38
2007 19
2008 5
18
A produção acadêmica em avaliaçãoAno de defesa

• A variação anual parece acompanhar o mesmo
  movimento da produção acadêmica no geral (e em
  comparação com o número de titulados em cursos de
  Pós-Graduação)...

19
A produção acadêmica em avaliaçãoAno de defesa e
tema

• Os temas variaram ao longo dos anos de maneira
  semelhante...

20
A produção acadêmica em avaliaçãoRegião de
produção

• Pouca presença do Norte
• Reprodução de padrões sobre a produção
  científica e tecnológica..

21
A produção acadêmica em avaliaçãoÁrea do
conhecimento

• Muita presença da área de Administração,
  Educação, Ciências Sociais e Serviço Social...
• Mas quem será que estuda o quê?...

22
A produção acadêmica em avaliaçãoÁrea do
conhecimento e tema

• O tema do debate conceitual está distribuído
  entre várias áreas
• Avaliações de projetos do 3º setor presença
  maior da Administração
• Avaliações programas públicos áreas da Educação
  e Ciências Sociais

23
A produção acadêmica em avaliaçãoÁrea do
conhecimento e tema
24
A produção acadêmica em avaliaçãoO que os
resultados dessas análises nos dizem?
Não existe uma definição certa para a avaliação,
uma definição que, se pudesse ser encontrada,
poria para sempre fim às discussões sobre qual a
melhor maneira de proceder e quais as suas
verdadeiras razões de ser. Aceitamos as
definições de avaliação como construções
intelectuais, cuja correspondência com a
realidade não é, nem pode ser, uma
questão. Guba e Lincoln, 1989 21
Que definições emergem dos estudos acadêmicos? A
avaliação é uma análise de processos e resultados
que permite o aperfeiçoamento da gestão de ONGs,
projetos e programas sociais, no âmbito público
ou do Terceiro Setor...

• Como isso nos posiciona frente à avaliação?
• O que essas aprendizagens nos dizem?

25
A produção acadêmica em avaliaçãoO que os
resultados dessas análises nos dizem?

• Produção sobre avaliação parece ser recente
  (últimos 10 anos).
• A produção sobre avaliação segue a curva da
  produção acadêmica como um todo.
• Avaliação perpassa diversas áreas é estudada por
  muitos campos do saber.
• A Administração parece enfocar mais o Terceiro
  Setor, enquanto a Educação e o Serviço Social os
  programas sociais públicos.
• Uma produção acadêmica significativa sobre
  avaliação começa a existir.Torna-se possível a
  configuração de espaços (encontros, congressos,
  periódicos) para divulgar estes estudos.