O IDEB O Índice de Desenvolvimento da Educação Básica (IDEB) foi
criado em 2005 pelo Ministério da Educação como uma maneira simples e
elegante de resumir, em um número, a qualidade de uma escola. O índice
reflete a média das notas da escola na Prova Brasil, em Português e
Matemática, multiplicada pela taxa de aprovação, em uma escala que vai
de zero a 10. Se todos os alunos se saírem muito bem na prova e ninguém
for reprovado, o IDEB é próximo de 10. Se todos os aprovados se saírem
muito bem, mas metade for reprovada, o índice é 5. Se todos forem
aprovados mas se saírem muito mal nas provas, o índice também é próximo
de 5. Se o desempenho for péssimo e a reprovação muito alta, então o
IDEB se aproxima de zero.
Isto é calculado em separado para os alunos da 5a e da 8a série da educação fundamental. Ao lado de suas virtudes, o IDEB tem dois problemas graves. O primeiro é que, fora dos extremos, ele pode significar tanto que a escola tem mau desempenho mas promove seus alunos quanto que a escola tem bom desempenho graças à exclusão dos que não se saem bem. Isto significa também que as escolas podem facilmente manipular seu IDEB, até certo ponto, facilitando a promoção automática, e deixando de lado a educação propriamente dita.
O segundo problema é que, como o desempenho e mesmo a evasão dos alunos dependem em grande parte da bagagem social que trazem, escolas com alunos de classe média e alta terão um resultado mais alto no IDEB, mesmo sem muito esforço, do que escolas com alunos de origem mais pobre e condições sociais mais difíceis, mesmo que se esforcem muito mais. É por isto que não me parece adequado "carimbar” as escolas com o IDEB em suas portas, como já fazem alguns estados, como se ele refletisse de fato a qualidade da educação que ela proporciona para o público que recebe.
Daí a ideia das metas do IDEB. Ao invés de olhar o valor absoluto do IDEB em determinado momento, seria melhor ver como ele evolui. Cada escola teria uma meta em função de sua situação atual, e seria avaliada pela capacidade de progredir em direção a esta meta, e não por sua nota. Escolas com alunos mais difíceis e IDEB mais baixos que conseguissem atingir suas metas estariam claramente melhor do que escolas com IDEB mais alto que não saíssem do lugar. Ideia engenhosa, mas, infelizmente, como mostra Ernesto Martins Faria nesta nota abaixo, publicada anteriormente no blog da Revista Educação http://www.educacaoepesquisa.blog.br/?p=305, também não funciona, pelos erros técnicos e de concepção com que as metas foram construídas.
A conclusão não é de que medidas de resultados e metas de melhoria não servem, e devem ser abandonadas. A conclusão é que medidas e metas devem ser de simples entendimento e relacionadas com a realidade das escolas, e não podem se transformar em números cabalísticos que não conseguimos entender mas que precisamos alcançar, que é o que pode ocorrer, como mostra Ernesto, ao entronizar as metas do IDEB no Plano Nacional de Educação. Metas que não conversam com a realidade
O Plano Nacional de Educação (PNE), em tramitação e que vem sendo discutido no Senado, estabelece 20 metas que devem ser alcançadas pelo país. Uma delas (a meta 7) se refere ao Ideb, principal indicador de qualidade em educação que possuímos no Brasil. Ela foi elaborada com base nas metas estabelecidas em 2007 pelo Inep/Ministério da Educação à época da criação do Ideb. Naquele momento, também foram estabelecidas metas para os municípios e escolas. O Ideb auxiliou muito o acompanhamento da qualidade educacional do país, gerando um olhar sobre indicadores de desempenho, por meio da principal avaliação externa do país (a Prova Brasil), e um olhar sobre a importância de garantir um fluxo escolar adequado (colocando na composição as taxas de aprovação escolar, que são muito baixas em algumas regiões do país).
Não deixando de reconhecer esse mérito, o Inep, em 2007, acabou cometendo falhas na hora de definir metas para o Ideb, que tinham o objetivo de verificar se as escolas e redes evoluíam da forma adequada. As metas do Ideb atentaram pouco ao contexto educacional das regiões e escolas. Para a construção delas, foi considerado apenas o resultado de 2005, o que trouxe uma influência muito grande do resultado desse ano na avaliação dos resultados seguintes. A rede pública do município de São Sebastião do Alto, no Rio de Janeiro, por exemplo, apresentou um Ideb de 7,3 em 2005 e seu Ideb caiu para 4,8 em 2011.
Independentemente disso, a meta do Ideb apresentada para gestão que assumiu em 2013 para esse ano é de um Ideb de 7,9, estabelecido a partir do resultado de 2005. Outro problema das metas é que algumas premissas da função logística http://www.educacaoepesquisa.blog.br/?page_id=68 adotada na construção delas são inválidas. O modelo considera que todos os municípios devem, em 2096, atingir um Ideb de 9,9. No entanto, um Ideb 9,9 não é possível de ser atingido, pois, para isso, quase todos os alunos teriam que ser aprovados, e os alunos avaliados teriam que tirar a pontuação máxima na Prova Brasil.
Esse valor é tão inatingível que a escola com o maior Ideb no país possuí um índice de 8,6. Esse horizonte não factível gerou metas muito ambiciosas para redes e escolas que tiveram resultados muito bons em 2005. A rede estadual do município de Trajano de Morais, por exemplo, tinha uma meta de 8,7 em 2011 e tem uma meta de 9,0 em 2021. Por esse problema, todas as redes que obtiveram um Ideb de pelo menos 6,5 em 2005 nos anos iniciais não cumpriram as metas de 2011.
Outro problema é que não houve um estudo sobre qual é o patamar de Ideb que qualquer escola é capaz de obter em curto prazo. Não há um consenso sobre qual é o patamar que indica qualidade, se é um Ideb de 6, de 6,5, de 7, ou outro valor, por exemplo. Também não foi estabelecido qual valor é factível de ser obtido por qualquer escola ou rede do país. Sem esse consenso, redes e escolas com baixo desempenho em 2005 cumpriram facilmente as metas das avaliações posteriores. Com isso, o governo legitimou como positivo o trabalho de algumas escolas e redes em que o nível de aprendizado dos alunos se mostrou muito baixo.
Reportagem de Ana Aranha http://revistaepoca.globo.com/Revista/Epoca/0,,EMI6359-15228,00.html, vencedora do Prêmio Ayrton Senna de Jornalismo, mostra uma escola que, apesar de um resultado ínfimo no Ideb e na Prova Brasil, bateu em 2007 as metas de 2011. Essa matéria, aliás, aponta, além da importância de se estabelecer um patamar mínimo aceitável, a dificuldade de se estabelecer uma meta agregada para um indicador que une indicadores tão diferentes (taxas de aprovação e resultados em uma avaliação externa). Provavelmente, teria sido mais apropriado fazer metas para esses indicadores separadamente, de modo que a meta agregada fosse a composição das duas individualmente.
Casos de cumprimento da meta de 2021 ou de não cumprimento da meta de 2007 ou de 2009 já não são tão raros, e apontam como as metas são pouco factíveis e estão cada vez mais frágeis quanto mais nos distanciamos de 2005. Isso acontece pois, para indicadores educacionais, o resultado em um passado mais distante tem pouca influência no presente (o desempenho dos alunos em 2005 pouco influencia o desempenho dos alunos em 2013, por exemplo).
O avanço poderia acontecer por políticas estruturais que tivessem sido feitas, mas teríamos que ter algum dado que apoiasse a olhar isso. Por tudo isso, é importante garantir um olhar sobre o que ilustra cada pontuação do Ideb, sobre qual patamar qualquer escola poderia atingir e sobre qual é uma pontuação que já pode ser considerada como ilustrativa de qualidade. Os pesquisadores precisam se posicionar sobre essas questões.
Essas respostas são necessárias para que tenhamos um norte de se o Ideb precisa ser aprimorado, e para que as metas a partir dele permitam que se atribua de forma justa uma responsabilização pelo cumprimento das mesmas. No artigo "Como construir metas a partir de um território organizado em ADEs” http://estudandoeducacao.files.wordpress.com/2013/06/artigo_metas.pdf, publicado pela editora Moderna, escrevi sobre a importância de metas educacionais conversarem com as condições da escola/rede.
No caso do Ideb, para efetivamente podermos chamar as projeções elaboradas de metas, é necessário que elas sejam factíveis e desafiadoras para que possam efetivamente orientar uma gestão. Sem isso, teremos apenas mais alguns números que correspondem a objetivos mal desenhados, e que ajudarão para que esse plano de educação seja frágil como o último.
(*) É economista, mestrando em Gestão e Políticas Públicas na Fundacão Getulio Vargas (FGV) e especialista em análise de dados educacionais. http://www.schwartzman.org.br/sitesimon/?lang=pt-br Fonte: Simon‘s Site - Ernesto Martins Faria*
Isto é calculado em separado para os alunos da 5a e da 8a série da educação fundamental. Ao lado de suas virtudes, o IDEB tem dois problemas graves. O primeiro é que, fora dos extremos, ele pode significar tanto que a escola tem mau desempenho mas promove seus alunos quanto que a escola tem bom desempenho graças à exclusão dos que não se saem bem. Isto significa também que as escolas podem facilmente manipular seu IDEB, até certo ponto, facilitando a promoção automática, e deixando de lado a educação propriamente dita.
O segundo problema é que, como o desempenho e mesmo a evasão dos alunos dependem em grande parte da bagagem social que trazem, escolas com alunos de classe média e alta terão um resultado mais alto no IDEB, mesmo sem muito esforço, do que escolas com alunos de origem mais pobre e condições sociais mais difíceis, mesmo que se esforcem muito mais. É por isto que não me parece adequado "carimbar” as escolas com o IDEB em suas portas, como já fazem alguns estados, como se ele refletisse de fato a qualidade da educação que ela proporciona para o público que recebe.
Daí a ideia das metas do IDEB. Ao invés de olhar o valor absoluto do IDEB em determinado momento, seria melhor ver como ele evolui. Cada escola teria uma meta em função de sua situação atual, e seria avaliada pela capacidade de progredir em direção a esta meta, e não por sua nota. Escolas com alunos mais difíceis e IDEB mais baixos que conseguissem atingir suas metas estariam claramente melhor do que escolas com IDEB mais alto que não saíssem do lugar. Ideia engenhosa, mas, infelizmente, como mostra Ernesto Martins Faria nesta nota abaixo, publicada anteriormente no blog da Revista Educação http://www.educacaoepesquisa.blog.br/?p=305, também não funciona, pelos erros técnicos e de concepção com que as metas foram construídas.
A conclusão não é de que medidas de resultados e metas de melhoria não servem, e devem ser abandonadas. A conclusão é que medidas e metas devem ser de simples entendimento e relacionadas com a realidade das escolas, e não podem se transformar em números cabalísticos que não conseguimos entender mas que precisamos alcançar, que é o que pode ocorrer, como mostra Ernesto, ao entronizar as metas do IDEB no Plano Nacional de Educação. Metas que não conversam com a realidade
O Plano Nacional de Educação (PNE), em tramitação e que vem sendo discutido no Senado, estabelece 20 metas que devem ser alcançadas pelo país. Uma delas (a meta 7) se refere ao Ideb, principal indicador de qualidade em educação que possuímos no Brasil. Ela foi elaborada com base nas metas estabelecidas em 2007 pelo Inep/Ministério da Educação à época da criação do Ideb. Naquele momento, também foram estabelecidas metas para os municípios e escolas. O Ideb auxiliou muito o acompanhamento da qualidade educacional do país, gerando um olhar sobre indicadores de desempenho, por meio da principal avaliação externa do país (a Prova Brasil), e um olhar sobre a importância de garantir um fluxo escolar adequado (colocando na composição as taxas de aprovação escolar, que são muito baixas em algumas regiões do país).
Não deixando de reconhecer esse mérito, o Inep, em 2007, acabou cometendo falhas na hora de definir metas para o Ideb, que tinham o objetivo de verificar se as escolas e redes evoluíam da forma adequada. As metas do Ideb atentaram pouco ao contexto educacional das regiões e escolas. Para a construção delas, foi considerado apenas o resultado de 2005, o que trouxe uma influência muito grande do resultado desse ano na avaliação dos resultados seguintes. A rede pública do município de São Sebastião do Alto, no Rio de Janeiro, por exemplo, apresentou um Ideb de 7,3 em 2005 e seu Ideb caiu para 4,8 em 2011.
Independentemente disso, a meta do Ideb apresentada para gestão que assumiu em 2013 para esse ano é de um Ideb de 7,9, estabelecido a partir do resultado de 2005. Outro problema das metas é que algumas premissas da função logística http://www.educacaoepesquisa.blog.br/?page_id=68 adotada na construção delas são inválidas. O modelo considera que todos os municípios devem, em 2096, atingir um Ideb de 9,9. No entanto, um Ideb 9,9 não é possível de ser atingido, pois, para isso, quase todos os alunos teriam que ser aprovados, e os alunos avaliados teriam que tirar a pontuação máxima na Prova Brasil.
Esse valor é tão inatingível que a escola com o maior Ideb no país possuí um índice de 8,6. Esse horizonte não factível gerou metas muito ambiciosas para redes e escolas que tiveram resultados muito bons em 2005. A rede estadual do município de Trajano de Morais, por exemplo, tinha uma meta de 8,7 em 2011 e tem uma meta de 9,0 em 2021. Por esse problema, todas as redes que obtiveram um Ideb de pelo menos 6,5 em 2005 nos anos iniciais não cumpriram as metas de 2011.
Outro problema é que não houve um estudo sobre qual é o patamar de Ideb que qualquer escola é capaz de obter em curto prazo. Não há um consenso sobre qual é o patamar que indica qualidade, se é um Ideb de 6, de 6,5, de 7, ou outro valor, por exemplo. Também não foi estabelecido qual valor é factível de ser obtido por qualquer escola ou rede do país. Sem esse consenso, redes e escolas com baixo desempenho em 2005 cumpriram facilmente as metas das avaliações posteriores. Com isso, o governo legitimou como positivo o trabalho de algumas escolas e redes em que o nível de aprendizado dos alunos se mostrou muito baixo.
Reportagem de Ana Aranha http://revistaepoca.globo.com/Revista/Epoca/0,,EMI6359-15228,00.html, vencedora do Prêmio Ayrton Senna de Jornalismo, mostra uma escola que, apesar de um resultado ínfimo no Ideb e na Prova Brasil, bateu em 2007 as metas de 2011. Essa matéria, aliás, aponta, além da importância de se estabelecer um patamar mínimo aceitável, a dificuldade de se estabelecer uma meta agregada para um indicador que une indicadores tão diferentes (taxas de aprovação e resultados em uma avaliação externa). Provavelmente, teria sido mais apropriado fazer metas para esses indicadores separadamente, de modo que a meta agregada fosse a composição das duas individualmente.
Casos de cumprimento da meta de 2021 ou de não cumprimento da meta de 2007 ou de 2009 já não são tão raros, e apontam como as metas são pouco factíveis e estão cada vez mais frágeis quanto mais nos distanciamos de 2005. Isso acontece pois, para indicadores educacionais, o resultado em um passado mais distante tem pouca influência no presente (o desempenho dos alunos em 2005 pouco influencia o desempenho dos alunos em 2013, por exemplo).
O avanço poderia acontecer por políticas estruturais que tivessem sido feitas, mas teríamos que ter algum dado que apoiasse a olhar isso. Por tudo isso, é importante garantir um olhar sobre o que ilustra cada pontuação do Ideb, sobre qual patamar qualquer escola poderia atingir e sobre qual é uma pontuação que já pode ser considerada como ilustrativa de qualidade. Os pesquisadores precisam se posicionar sobre essas questões.
Essas respostas são necessárias para que tenhamos um norte de se o Ideb precisa ser aprimorado, e para que as metas a partir dele permitam que se atribua de forma justa uma responsabilização pelo cumprimento das mesmas. No artigo "Como construir metas a partir de um território organizado em ADEs” http://estudandoeducacao.files.wordpress.com/2013/06/artigo_metas.pdf, publicado pela editora Moderna, escrevi sobre a importância de metas educacionais conversarem com as condições da escola/rede.
No caso do Ideb, para efetivamente podermos chamar as projeções elaboradas de metas, é necessário que elas sejam factíveis e desafiadoras para que possam efetivamente orientar uma gestão. Sem isso, teremos apenas mais alguns números que correspondem a objetivos mal desenhados, e que ajudarão para que esse plano de educação seja frágil como o último.
(*) É economista, mestrando em Gestão e Políticas Públicas na Fundacão Getulio Vargas (FGV) e especialista em análise de dados educacionais. http://www.schwartzman.org.br/sitesimon/?lang=pt-br Fonte: Simon‘s Site - Ernesto Martins Faria*
Nenhum comentário:
Postar um comentário
Todos os comentários passam por moderação e caso não enquadrem-se na política de comentários serão rejeitados.
De maneira alguma será uma forma de barrar a participação dos leitores, mas sim como ja foi dito, de manter um debate de alto nível. Caso tenha dúvida consulte a Política de comentários.
Ao escrever, pense como se o proprietário do blog. E que você pode ser responsabilizado judicialmente pelos comentários.
Mesmo assim, antes de comentar, procure analisar se o seu comentário tem realmente algo em comum com o assunto em questão.
Comentários em tom ofensivo, ou que acusem diretamente pessoas envolvidas ou não nas postagens não serão publicados.
Obrigado e não deixe de comentar.
Observação: somente um membro deste blog pode postar um comentário.