Caminhos para Melhorar o Aprendizado ( paramelhoraroaprendizado.br )

1. Caminhos para Melhorar o Aprendizado (www.paramelhoraroaprendizado.org.br) Ricardo Paes de Barros (SAE) Setembro de 2011

2. 1. Sobre o progresso recente e a necessidade de continuidade • Pelo PISA o Brasil está entre os 5 países que mais progrediram ao longo da última década (33 pontos na escala PISA) • Mesmo assim, continua entre os 15 países com pior desempenho, 38 pontos abaixo do Chile • A velocidade atual vamos atingir 2021 com o nível de aprendizado que o Chile tinha em 2009. • A escolaridade dos jovens brasileiros que acabam de entrar na idade adulta é idêntica a dos pais dos jovens chilenos que acabam de entrar na idade adulta • Apenas 25% dos nossos alunos alcança nível adequado de proficiência, quando a meta para 2021 é de 70%

3. Pelo PISA o Brasil está entre os 5 países que mais progrediram ao longo da última década (33 pontos na escala PISA)

4. Mesmo assim, continuamos entre os 15 países com pior desempenho, 38 pontos abaixo do Chile. À velocidade atual, vamos atingir 2021 com o nível de aprendizado que o Chile já havia alcançado em 2009

8. A escolaridade dos jovens brasileiros que acabam de entrar na idade adulta é idêntica a dos pais dos jovens chilenos que acabam de entrar na idade adulta

9. Apenas 25% dos nossos alunos alcança nível adequado de proficiência, quando a meta para 2021 é de 70%

10. 2. Como acelerar o aprendizado: Necessidade de melhorar a qualidade do gasto com educação • Aumentando o volume de recursos (públicos e privados) alocados à educação • Elevando a efetividade do que se já gasta (melhorar a qualidade do gasto) • Fazer os dois: melhorando a qualidade dos que se já gastava, aumentando o gasto e alocando melhor os recursos adicionais. • Melhorar o aprendizado é preocupação de todos os países ricos e pobres • Um país com um aprendizado em Matemática 15 pontos na escala SAEB maior (tipicamente o que se aprende num ano letivo) terá uma taxa de crescimento 1% mais acelerada.

11. 15 Um aprendizado em Matemática 15 pontos maior (tipicamente o que se aprende em um ano letivo) leva a uma taxa de crescimento no PIB por trabalhador 1% mais acelerada

12. 3. Escopo do Estudo: Associação ou Causalidade: o que importa para o desenho de políticas educacionais? • Para o desenho das políticas educacionais o que se deseja conhecer é em quanto o aprendizado irá se alterar caso uma determinada ação seja implementada (impacto causal da ação) e não simplesmente quão maior é o aprendizado nas escolas que implantaram a ação em comparação com as que não implantaram (associação); • Buscamos identificar isolar e quantificar a magnitude do impacto de diversos fatores determinantes do aprendizado; • Construímos um mapa dos impactos e não apenas um mapa de fatores associados ao aprendizado.

13. 3. Escopo do Estudo • Existe um amplo esforço mundial para se identificar isolar e quantificar os determinantes do aprendizado; • Dentre os 400 estudos nacionais e internacionais identificados, com base em critérios de qualidade e relevância (qualidade da publicação e representatividade da amostra – amostra mínima de 1,500 alunos), 165 foram selecionados para análise; • Os resultados destes estudos foram (i) catalogados, (ii) organizados por temas, (iii) comparados em termos da magnitude e (iv) avaliados segundo: • Validade interna da análise • Validade externa da análise e • Precisão e robustez das estimativas.

14. 4. Dificuldades para se identificar isolar e quantificar a magnitude do impacto dos determinantes do aprendizado • Múltiplos agentes: aluno, família, comunidade, professor, turma, escola, sistema educacional • Múltiplas características de cada um dos agentes • Características observáveis e não observáveis • Conhecimento é acumulado ao longo das séries, logo a nota do SAEB na 8ª série depende das condições da escola, professores, família e aluno ao longo de todas as séries • Características variáveis no tempo e entre séries

16. 5. Avaliando a relevância substantiva e promovendo a comparabilidade entre as estimativas de impacto • Toda unidade de medida de impacto tem numerador e denominador: • Aumento no aprendizado (numerador) por ano de experiência do professor (denominador) • Aumento no aprendizado (numerador) por número de alunos a menos em cada turma (denominador) • Impacto do quê? Vários determinantes (características dos sistemas educacionais, escolas e professores) • Sobre o quê? Sempre sobre o aprendizado • Sempre que possível, padronizamos o impacto sobre o aprendizado para a escala SAEB

17. 5. Avaliando a relevância substantiva e promovendo a comparabilidade entre as estimativas de impacto • Desvios-padrões das notas na escala SAEB (alunos que tendo aula com um bom professor (entre 20% melhores) aprendem por ano 29% de um desvio-padrão a mais que um alocado a um professor pior(entre os 20% piores)) • Pontos na escala SAEB (alunos que tendo aula com um bom professor (entre 20% melhores) aprendem por ano 9,6 pontos na escala SAEB a mais que um alocado a um professor pior (entre os 20% piores) • Aceleração do aprendizado (anos equivalentes) (alunos que tendo aula com um bom professor (entre 20% melhores) aprendem por ano 68% mais que um alocado a um professor pior (entre os 20% piores) • Cumprimento das metas (Para uma escola hipotética onde no início todos os professores estavam entre os 20% piores, passar a ter todos os professores entre os 20% melhores garante que a nova turma de alunos que inicia a 1ª série irá ao alcançar a 8ª série tendo cumprido quase 100% da 3ª Meta.

18. 5. Avaliando a relevância substantiva e promovendo a comparabilidade entre as estimativas de impacto • Impossibilidade de padronizar as unidades dos fatores determinantes (impacto do quê?) • O impacto de reduzir o tamanho da sala de aula em 30% é duas vezes maior que o de estudar com um professor com 3 anos de experiência ao invés de com um sem experiência • Mas o impacto de reduzir o tamanho da sala de aula em 10% é menor que o de estudar com um professor com 5 anos de experiência ao invés de com um sem experiência • O que tem mais impacto sobre o aprendizado? Redução no tamanho da turma ou experiência do professor?

23. 6. Impacto da exposição ao professor sobre o aprendizado do aluno • Se a escola e o professor são importantes, então o grau de exposição a eles também tem que ser fundamental • Existem diversos mecanismos para se aumentar o grau de exposição dos alunos aos professores: • Aumento no ano letivo, • Efetivo cumprimento do ano letivo, • Redução no absenteísmo de alunos e professores, • Aumento no número aulas por dia letivo, • Aumento na duração das aulas, • Redução no tamanho das turmas.

24. 6. Impacto da exposição ao professor sobre o aprendizado do aluno • O aprendizado de um aluno alocado a um professor que não faltou durante o ano letivo tem tipicamente um aprendizado 44% maior que o que teria caso fosse alocado a um professor que faltou 10 dias • O aprendizado de uma aluno alocado a uma turma com 15 alunos tem tipicamente um aprendizado 44% maior que o que teria caso fosse alocado a uma turma com 22 alunos

30. 7. Atingindo a 3ª meta: Todo aluno com aprendizado adequado à sua série • Para uma escola hipotética onde no início todos os professores eram medianos, passar a ter todos os professores entre os melhores (20% melhores) garante que a nova turma de alunos que inicia a 1ª série irá ao alcançar a 8ª série tendo cumprido quase ½ (44%) da 3ª Meta • Para uma escola hipotética onde metade dos professores são jovens e sem experiência, passar a ter todos os professores com ao menos 3 anos de experiência garante que a nova turma de alunos que inicia a 1ª série irá ao alcançar a 8ª série tendo cumprido 1/8 (13%) da 3ª Meta

31. 7. Atingindo a 3ª meta: Todo aluno com aprendizado adequado à sua série • Para uma escola hipotética onde os professores faltam em média 10 dias por ano letivo, passar a ter professores que faltam apenas 5 dias por ano letivo garante que a nova turma de alunos que inicia a 1ª série irá alcançar a 8ª série tendo cumprido mais de ¼ (28%) da 3ª Meta • Para uma escola hipotética onde todos as turmas têm 24 alunos, passar a ter turmas de 20 alunos garante que a nova turma de alunos que inicia a 1ª série irá alcançar a 8ª série tendo cumprido ¼ (28%) da 3ª Meta

32. 8 séries com efetivos 5 dias adicionais de aula

33. 8. Principais limitações • Compilamos estimativas do impacto de um fator mantendo os demais constantes (Ceteris paribus) • Mas mantendo os demais fatores constantes em que nível? • Quão dependente é a estimativa de impacto ao nível dos demais fatores? • Dificuldades com a validade externa (e daí com a utilidade) das estimativas • Diferenças na sensibilidade à margem intensiva e extensiva: aumento na experiência de todos os professores versus aumento na proporção de professores com experiência

34. 8. Principais limitações • Impactos diretos e indiretos: Avalia-se prioritariamente o impacto direto de reduções no tamanho da turma sobre o aprendizado. Mas reduções no tamanho das turmas podem requerer aumento no número e daí a uma queda na qualidade dos professores • Foco apenas no aprendizado: • Turmas homogêneas são melhores para o aprendizado • Mas outros objetivos da educação podem relevar a que turmas heterogêneas sejam preferíveis • Falta informação sobre custos, o que impede uma avaliação da relação custo-efetividade das diversas alternativas

35. Flexibilidade e atratividade como instrumentos para reduzir a evasão e o abandono no Ensino Médio Ricardo Paes de Barros (SAE) Junho de 2012

42. Alternativas ao médio tradicional versus alternativas (estratégias) para se realizar o médio tradicional (ou que o torne mais atraente)

43. Estratégias para um Ensino Médio mais atraente