Unknown

Bom dia sejam todas muito bem-vindas e bem-vindos é com grande alegria que damos início ao primeiro seminário de monitoramento e avaliação de políticas de Educação Básica organizado pela Secretaria de Educação Básica do MEC meu nome é Gênesis Vieira e serei o mestre de cerimônias deste evento este seminário tem como objetivo contribuir com a formação de gestores e equipes técnicas do Ministério da Educação e da Secretaria de Educação Básica sobre o importante tema do monitoramento e avaliação de políticas públicas além dos participantes aqui presentes Saúdo a todas e a todos que nos assistem ao vivo pelo

canal oficial do MEC no YouTube neste momento para compor o nosso dispositivo de abertura convidamos a ilustríssima secretária de educação básica do Ministério da Educação a professora a professora Cátia [Aplausos] schart o secretário de gestão da informação inovação e avaliação de políticas educacionais do Ministério da Educação o professor Marcos Vinícius de Azevedo Braga a representante da União nacional dos dirigentes municipais de educação a dirigente Municipal de Educação de Cascavel Paraná a professora Márcia Baldini [Aplausos] convidamos a todos por gentileza que se coloquem em posição de respeito para a execução do Hino Nacional Brasileiro [Música] C

[Música] pedo por gentileza paraar o início [Música] ases [Música] k [Música] C a [Música] m Depois dessa belíssima execução do Hino Nacional Brasileiro a nossa intérprete de libras não chegou nós estamos com a nossa coordenadora de avaliação e coordenação da Educação Básica fazendo a interpretação de libras para o nosso público eh queremos também agradecer a presença de todas as autoridades que nos prestigiam nesta manhã e também aqueles que nos acompanham online pelo YouTube para dar início eu convido neste momento ao púlpito o diretor de monitoramento avaliação e manutenção da Educação Básica da Secretaria de Educação

Básica do Ministério da Educação o professor valdoir [Aplausos] valtier bom dia a todos e todas primeira coisa dizer sejam muito bem-vindos né a esse espaço e preparado com muito cuidado com muito carinho para que todos vocês pudessem estar aqui hoje e amanhã né experimentar um bons momentos de interação e de desenvolvimento né Eh Mais especificamente eu queria começar agradecendo imensamente aqui a nossa Líder né a Katia schweikart eh sobretudo porque uma das primeiras coisas né que a Kátia fez na gestão dela foi criar uma Diretoria de monitoramento e avaliação né focada em monitoramento e avaliação

e ao que ISO por si só né sinaliza Muito de como se quer olhar PR políticas educacionais o estendo também o agradecimento ao Marcos né hoje representando aqui a secretaria de gestão informação inovação e avaliação de políticas educacionais né Eh porque o MEC também fez esse movimento de uma forma de olhar né mais detidamente para aquilo que nós precisamos avaliar em termos de o que estamos fazendo em né como como políticas educacionais e eh cumprimentar também agradecer a presença a secretária Márcia Baldini representando a união nacional dos dirigentes municipais de educação eh né que a

gente sabe que educação básica não se faz no Brasil né sem a participação especialmente dos Municípios mas também das secretarias Estaduais de educação e a gente aqui do governo federal não tem condição de saber exatamente o que tá acontecendo né muitas vezes a gente sofre muito com um Anseio por uma informação plena e que a gente sabe que não consegue ter a partir do governo federal né então esse esforço pela informação plena ele não vai levar a gente muito longe em termos de aprendizado e de melhoria de política então A melhor forma é a gente

tá em diálogo né com os estados e com os municípios para ter essa interação E aí sim uma informação sobre a realidade de quem tá vivendo ela mais de perto né o mas eu eu não quero estender muito a minha fala mas não tem como não sublinhar aqui também um agradecimento e uma parabenização né a todo a equipe da Coordenação Geral de monitoramento e avaliação especialmente né Eh na em nome da Janaína ma a nossa coordenadora geral e grande liderança de monitoramento e avaliação Ah mas também a Isabela que hoje tá fazendo um duplo papel

aqui como intérprete de libras né Eh e toda a equipe a vang glésia que a que acabou de chegar né uma servidora nova chegou revigorando Ah não tô identificando onde estava angles aqui lá ao final né a também a SIDA e estender também alguns agradecimentos à equipe da Ad manã especialmente da Luciana que não pode estar aqui hoje por conta de um tratamento de saúde mas que contribuiu também muito nesse processo né e a todo mundo né que tá aqui presente especialmente né as outras equipes do MEC e aquelas que vão auxiliar nas oficinas né

e e mas eh também vale fazer uma menção eu acho o que acabou de acontecer aqui duas situações já né No início da nossa do nosso evento que são muito expressivas né E que dão um recado muito claro de que é imprescindível que a gente diretores coordenadores pedagógicos Mas eu senti falta professora Cátia e até Quero te fazer um pedido de uma formação pros dirigentes de educação em relação à política de alfabetização O que é monitoramento O que é a avaliação e como lidar com esses dados porque o protagonismo do município é muito importante se

nós tivermos o resultado desses dados e não soubermos realmente como trabalhar de forma humanizada Clara específica e dar encaminhamentos a isso de nada adianta se nós temos hoje no vaar essa importante conquista na legislação que obriga os municípios e o estado a olhar para as desigualdades educacionais nós precisamos pegar esses dados trabalhar e buscar encaminhamentos eu sou de uma linha assim de cobrar um pouco sabe eu gosto que as coisas têm que ser pontuais temos os resultados e agora o que vamos fazer passando o período de comemoração ou de Choro Porque isso que acontece com

a gente a gente comemora a gente vive a educação em cada momento mas e agora o que vamos fazer eu no meu Município de todas as minhas escolas 22 Não atingiram o que era para atingir a média do município Já estamos com um programa de recuperação não temos recuperação dos alunos na escola temos que entrar com recuperação das escolas também v o que nós podemos fazer e da mesma forma eu penso que a política a política pública ela tem que trabalhar nessa perspectiva eu digo uma recuperação no fato de estender a mão de ajudar e

de monitorar sim porque hoje as pessoas ainda entendem que monitoramento é como se tivesse o tempo inteiro Ah é cobrança cobrança cobrança monitoramento não é cobrança monitoramento é acompanhar os resultados a evolução ou não e buscar encaminhamentos conjuntos então eu quero parabenizar por esse evento me sinto muito honrado estar aqui participando agradeço imensamente essa parceria que o Ministério da Educação tem com Aim que representa os municípios e dizer que nós estamos felizes com os resultados mas ainda precisamos avançar muito precisamos pensar logo e sabemos que o nosso país Ele passa de quatro em quro anos

por uma mudança política e eu venho dizendo pros dirigentes de Educação do Paraná não importa quem vai estar o ano que vem quem continua ou não nós temos que pegar agora em agosto e já tratarmos desses dados e buscarmos encaminhamentos porque a criança ela está hoje na escola ela não vai esperar o ano que vem para que tenha uma intervenção então eu agradeço imensamente e Desejo a todos um bom e excelente seminário muito [Aplausos] obrigada muito obrigado pela suas palavras Professora Márcia ouviremos neste momento o secretário de gestão da informação inovação e avaliação de políticas

educacionais do Ministério da Educação o professor Marcos Vinícius de Azevedo Braga bom dia a todos e a todas Agradeço o convite da Secretária de Educação Básica e ao mesmo tempo a cumprimento e a nossa professora também pessoal o que tá na mesa hoje na discussão política é a entrega né a entrega ao cidadão é a política é o benefício cidadão esse que precisa muito dessa política pública e é muito importante a gente ter um evento dessa natureza porque não tem como falar dessa entrega sem falar de monitoramento e avaliação são fais da mesma moeda uma

acompanha a outra dá uma visão mais profunda isso é essencial se a gente quer criança alfabetizada na escola em tempo integral se a gente quer um incentivo do pé de meia passa pelo monitoramento e pela avaliação e nesse sentido queria para você Valdo J essa agenda é uma agenda importante e que se faz no ombro de Gigantes temos gigantes aqui também conduzindo essa tarefa e tenho o prazer de junto com eles estarmos na rede de rede Educacional de monitoramento e avaliação a nossa Rema que foi uma Instância que a gente criou para arular todos os

atores do MEC que lidam com monitoramento e avaliação Por fim eu queria dizer que eu desconheço países eh desenvolvidos países com bons índices educacionais que não tem uma agenda de monitoramento e avaliação de programas eu desconheço essa casuística e é muito importante o que o o progresso a gente vai lá olha o Ideb Olha o desempenho no ENEM por trás daquilo tem um programa por trás daquilo tem uma implementação por trás daquilo tem um esforço de atores da Federação município estados União como tá escrito na Constituição trabalhando de forma coordenada e harmônica então então é

importante o desenho da avaliação e do monitoramento a gente tá Agora Numa discussão de Sistema Nacional de Educação vamos ter aí o nosso novo plano nacional de educação e tudo isso passa por essa agenda avaliação não é controle não é polícia não é para destruir o programa não é só para cortar custo avaliação um diagnóstico que vai subsidiar o gestor e a sociedade os caminhos que ele deve tomar né Como dizia lá o gato de Alice na história de Alice do das Maravilhas né quem não sabe para onde vai qualquer caminho serve né e disso

a gente vai tirar o melhor desses programas e entender porque que alguns deram certo e por que que alguns não deram certo para fazer de novo Muito obrigado e bom evento a [Aplausos] todos muito obrigado senhor secretário pela palavra tão importante compartilhada conosco e neste momento ouviremos o pronunciamento da Secretária de Educação Básica do Ministério da ação a professora ktia Bom dia a todas as pessoas eh peço licença para vocês vou fazer minha áudio de inscrição e eu sou uma mulher preta de cabelo crespo de vestido verde com os brincos eh cor Clarinha e uma

pulseira grande batom vermelho que é a minha marca registrada que vem junto com o meu sorriso de Saudação Para cada uma cada um de vocês que estão aqui eh agradeço muito eh queria quebrar esse protocolo as usual eu queria que viesse aqui pro meu lado a Janaína mar tá ali fora falando não sei nem o qu vem cá aqui organizando uma coisa que é muito importante eh pra gente que faz gestão vem cá Jana desde que eu comecei na gestão lá atrás no no município da Amazônia em Manaus é que a gente não faz nada

nada nada nada sozinho então Eh quem vem liderando Esse seminário organizou e o valdoir já homenageou e pra gente tem sido uma honra e uma alegria ter ela na nossa equipe ela é uma servidora do INEP foi a Janaína eu acho que eh isso também traz muito de tudo que a gente tem feito na liderança do ministro Camilo primeiro a gente não faz nada sozinho eh segundo a gente tem que saber não precisa saber de tudo mas precisa conseguir se cercar de boas pessoas isso é mistério da boa liderança né terceiro a gente precisa ser

grato por tudo quarto a gente só pode Celebrar que um dia foi bom se a gente aprendeu alguma coisa nova naquele dia se não aprendeu nada não se dispôs a mudar nada se a gente fica insistindo batendo a mesma tecla não realiza não vai pra frente não foi um dia bom e a gente tem feito muitas coisas boas juntas o Marcos disse o Marcos hoje é secretário substituto daap quando nós havíamos organizado a nossa com começamos a com a profess is depois diretora que hoje é secretária da regulação o valdoir à frente dessa frente tão

importante foi porque a gente entendeu que não era possível conduzir nenhuma política importante e relevante que envolve recurso público que envolve resposta pra sociedade se a gente não souber Onde nós estamos e para onde nós queremos ir e não aprendermos com os erros até porque vamos errar esse não é o problema problema é a gente permanecer no erro e não reconhecê-lo e não aprender com esses erros Esse é o problema porque se não errarmos é porque não estamos fazendo nada Só não erra quem não tá fazendo nada então a gente tem que ter orgulho de

errar mas o orgulho maior de aprender com eles e ir adiante Obrigada Jana por tudo viu muito obrigada eh eu queria também pedir licença para fazer uma outra homenagem aqui venha cá Márcia eu acho que recentemente vocês viram e acompanharam na imprensa o acidente horrível que houve no avião e esse acidente tinha muita gente de Cascavel Muita gente da cidade da Márcia eu pude me solidarizar mas não por isso eu acho que tem muita coisa difícil acontecendo e a gente às vezes se perde no meio da do nosso turbilhão e a gente perde a oportunidade

de chegar junto das pessoas educação também se faz assim tem muito de objetividade mas tem muita subjetividade ainda as nossas métricas não conseguem captar a subjetividade de muitas coisas mas a gente não pode perder a humanidade e eu sinto muito e me solidarizo muito com Cascavel e a Márcia tá dando um exemplo aqui ela veio representar todas as secretárias secretários municipais de educação muito obrigado obrigada por essa disposição nesse momento difícil mas a minha conversa com vocês eu acho que já começou com a fala do valdoir há muitos anos lá e o nosso povo do

Amazonas tá aqui eu e eu primeiro gente eu resisti muito vamos combinar quando eu era Secretária Municipal eu resisti demais a reconhecer a potência e o valor de do idbio como um grande indicador eu tinha muita dificuldade porque a gente estava numa cidade no coração da Amazônia e que as pessoas não sabiam que a gente existia e fazia Educação de qualidade lá as pessoas a educação brasileira ela sempre se estruturou a partir de uma lógica colonizadora dentro da qual nós fomos formados nós somos um país colonizado e racista então a gente organizou toda a nossa

estrutura Educacional A partir dessa lógica então o nosso modelo de progresso de desenvolvimento é copiar no caso brasileiro o Sudeste do Brasil e o sul pro resto então é muito difícil girar essa chave a gente vem aos pouquinhos entendendo que a diversidade e a desigualdade brasileira tem eh muita é é complicado a gente organizar processos e políticas públicas que deem conta essa nossa realidade mas O mais difícil é a gente conseguir enxergar a potência da diversidade é mais fácil a gente ver as ausências as limitações o que tá faltando o que eu não tenho o

que eu não sei a gente se organizou na negação e eu acho que muito do que eu vim fazendo nesses últimos anos tem a ver com a afirmação afirmação da existência de saberes e conhecimentos em muitas realidades que a gente não enxerga e infelizmente alguns indicadores não são capazes de pegar isso mas ao longo do tempo eu fui entendendo que a gente tem muitos modos de avaliar todos eles são muito importantes o Ideb não é um indicador voltado para uma ação imediata na sala de aula e isso faz com que a gente infelizmente quando a

gente divulga esse resultado o Inep divulgou semana passada não é a gente não é o MEC n o Inep que faz um ranking mas automaticamente a imprensa a sociedade faz um ranking como se isso fosse a coisa mais importante não é o a e isso desqualifica o indicador empobrece ele a potência desse indicador é orientar grandes políticas públicas no macro é organizar grandes intervenções e ele é muito importante para isso nos últimos 17 anos a gente avançou e a gente pode hoje perceber várias limitações que nós temos por conta desse indicador claro que a gente

precisa melhorar muito hoje ele não dá conta de uma constatação que demorou pra gente fazer mas que a gente já fez nós não aprendemos igual não é porque somos pretos por exemplo com mais dificuldade cognitiva porque as oportunidades são diferentes e o racismo tá impregnado em todas as nossas práticas assim como a desigualdade socioeconômica e regional Então os nossos indicadores TM que trazer isso para dentro dele isso é uma coisa que a gente vai precisar melhorar no novo Ideb certamente nós já temos um grupo forte trabalhando nisso mas esse é um ele não é para

dar conta de tudo a gente tem muitos outros instrumentos muitas outras ferramentas que nós precisamos assumir na nossa prática cotidiana seja para acompanhar processos nas salas de aula de ensino aprendizagem nas apoiar os nossos estudantes e os nossos professores mas também na gestão tão importante quanto os processos de ensino aprendizagem são os processos relacionados à gestão Educacional gestão de escola gestão de rede e isso não é feito só pelo diretor da Escola e nem só pela secretária o secretário toda a equipe faz parte a comunidade escolar faz parte o bairro o território todo mundo faz

parte Então como é que a gente pode construir ferramentas para dar conta dessa complexidade e isso a partir dos nossos desenhos de política desde que nós começamos na Secretaria de Educação Básica nós eh tivemos a oportunidade e a maior oportunidade que o terceiro Mandato do presidente Lula nos trouxe foi a oportunidade de reabrir a porta do do Mec para todas as redes de Educação Básica no Brasil para todas as secretários secretários professores Universidade movimento social Todo mundo de volta e tornar todos esses sujeitos corresponsáveis por essa missão que tá na Constituição não é só de

um sujeito é de todos nós é da sociedade inteira é fazer cada vez mais políticas de estado menos de governo é criar redes de conexão para dar vazão a inúmeras políticas tem uma rede poderosíssima aqui a renala que eu considero que é uma das mais importantes hoje liderada pela professora Mônica com vários articuladores aqui conosco temos a nossa rede de educação integral se formando a nossa rede também de escolas conectadas também que vem se formando a gente tem uma rede que a gente tá organizando de escola das adolescências mas o que que isso tem de

tão importante nenhuma delas está solta elas estão todas costuradas numa visão sistêmica porque Educação Básica assim como todas as políticas educacionais ela precisa ser entendida por nós sistemicamente embora não tenhamos secretário Estadual aqui a Márcia representa também esse conjunto de gestores tem gestores escolares aqui aqui tem servidores do MEC aqui coordenadores de área diretores várias secretarias nossas do MEC estão presentes aqui hoje Isso mostra que nós estamos assumindo algo na fala do valdoir é muito importante avaliação e monitoramento também o Marcos diz não é apen acho que durante um tempo foi não é em vão

que a gente tem esse ranço com a avaliação primeiro essa distorção ranko porque quando a gente faz um ranking a gente tá comparando coisas que não se comparam esse é um essa é uma distorção que afasta as pessoas da avaliação que a gente tem que corrigir mas uma segunda coisa é que durante algum tempo inclusive os órgãos de controle de onde o Marcos vem que o Marcos é originário da CGU ele tá entendendo e aprendendo muito com fazer gestão agora como diretor de área né e secretário substituto durante muito tempo nós gestores fomos eh tivemos

Muitas dificuldades em função dessa avalanche de cobrança sem descontextualizada então a gente hoje tá num movimento de retomada de nos reencontrarmos com a potência da avaliação não é possível a gente destinar recurso público a gente usar recurso público na implementação se a gente não puder avaliar estabelecer metas pactuar metas agora não pode ser imposta Elas têm que ser pactuadas construídas mas a gente precisa avaliar Sim todas as políticas todos os processos e as avaliações e os monitoramento são ferramentas construídas por nós então elas têm que ser assim assumidas Para quê Para que a gente possa

entregar os resultados esses resultados são o quê a garantia de direitos é isso que a sociedade brasileira espera eu preciso mostrar pra sociedade que eu tô me responsabilizando a fazer valer seus direitos esses números essas métricas os gráficos precisam traduzir direitos não tem nenhuma política pública na minha opinião que seja mais emancipadora e garantidora de direitos que é educação especialmente educação básica para cada um cada uma de vocês que toparam com a gente para várias organizações tá aqui o NB nap ipia IBGE todos aqui com a gente construindo a tantas mãos essa formação o meu

agradecimento muito obrigada pela oportunidade de que vocês serão replicadores da força e do valor que a avaliação e o monitoramento tem para as políticas educacionais brasileiras um bom evento pra gente muito obrigado secretária Cátia Muito obrigado pelas inspiradoras palavras conduzidas neste momento informamos que a professora Maria do Socorro da Silva Batista representante do Conselho Nacional de secretários de educação não pode estar conosco hoje informamos também que por motivo de saúde o professor Silvio Aparecido Fideles não pode estar conosco nesta manhã desejamos ao professor Silvio uma excelente recuperação e neste momento nós convidamos também para compor

o nosso palco o professor valdoir para fazermos um registro fotográfico oficial com com as nossas autoridades agradecemos todas as autoridades que compuseram o nosso dispositivo de de abertura e os convidamos este momento a retornarem aos seus lugares Uma salva de palmas dando continuidade ao nosso evento É com grande alegria que anunciamos a nossa palestra de abertura intitulada desvendando o monitoramento e a avaliação fundamentos essenciais para a educação básica para proferir esta palestra temos a honra de receber a professora Maria Jope que é Doutora em avaliação e métodos de pesquisa aplicados fundadora fundadora e diretora da

Rede Brasileira de monitoramento e avaliação a professora Márcia possui vasta experiência na área de monitoramento e avaliação de políticas e atua há mais de 21 anos junto ao setor público agências da ONU e e filantropia no Brasil e nos Estados Unidos atualmente é professora visitante da enap ministrando a cadeira de fundamentos e avaliação e monitoramento no mestrado de avaliação e monitoramento de políticas públicas estamos certos de que esta palestra será uma oportunidade de aprendizado enriquecedora para todos nós convidamos ao nosso palco a professora Márcia jop Uma salva de palmas Professora Márcia senhora está com a

palavra obrigada Oi gente bom dia eh tô muito honrada de estar aqui também vou fazer minha autodescrição eu sou uma mulher branca de cabelinhos curtos uso um óculos Verde sou de calça preta uma blusa estampada com uma estampa geométrica preta verde e branca eh eu tava contando que desde 90 eu acompanho o governo federal tô aqui em Brasília desde 90 eh desde 2008 tô na liderança da Rede Brasileira de monitoramento e avaliação e eu nunca vi eh é a primeira vez que eu vejo esse movimento de vocês gestores da educação em torno desse assunto monitoramento

Então minha felicidade hoje aqui é imensa por poder est aqui encontrar pessoas que eu já conheço e e que eu espero que eu faça parte dessa caminhada aí também como a secretária Cátia falou bom eu preparei slides né Eh eu espero que vocês consigam ver mas eu eu vou falar e Jana já tem minha autorização para depois encaminhar para vocês se vocês quiserem então o tema que eu escolhi eh foi esse né como que a gente desvenda essa história de monitoramento e avaliação eh olhando paraa Educação Básica pode seguir eh ah ele tá todo animadinho

O slide é filminho Então pode ir dando enter assim então o que que eu vou falar hoje eh um pouco de conceitos eh depois de amanhã vai fazer um ano que eu defendi a tese de doutorado sobre avaliação e sobre educação na avaliação então eu vou trazer um pouquinho de conceitos eh a história né do campo da avaliação no mundo e no Brasil eh vou falar sobre objetos de avaliação sobre momentos eh de avaliar e com base em que a gente avalia como a gente avalia e vou falar de uma coisa muito importante que é

a profissionalização do campo da avaliação eu chamo de campo porque avaliação não é uma disciplina ainda não é uma profissão então a gente chama de Campo Vamos seguir então a avaliação tem a ver com perguntas sabe eh e todo mundo que pensa em Educação Básica tem 1000 perguntas na cabeça então eu pus aqui uma listinha de perguntas que que eu vejo por aí nos meus trabalhos ou que me ocorrem quando eu tô pensando sobre isso né então será que a gente tá oferecendo né O que os estudantes precisam nos diferentes contextos que eles estão Quantos

estão fora Quantos são negros Quantos são portadores de pessoas com deficiência né Por que que tem criança fora da escola né Será que os adolescentes e os jovens se sentem atraídos por essa escola eh Será que nós estamos investindo adequadamente os os recursos como que est usando esses recursos o que precisa o que que a gente precisa fazer para ter uma educação de qualidade como será que os outros países conseguiram né eu ouço sobre a Coreia Nossa a Coreia é um exemplo né né como é que eles conseguiram isso que desafios os professores enfrentam na

formação será que eles têm boas condições de trabalho será que as famílias e as comunidades estão comprometidas com a educação das suas crianças e por que que o desempenho cai eh do fundamental um pro fundamental dois pro Ensino Médio eh Em quais contextos locais as políticas estão funcionando ou não será Será que educação é prioridade mesmo para todos os gestores municipais estaduais eh federais Eu sei que sim né E qual foi o impacto da covid na educação perdemos muito podíamos ter perdido mais então São perguntas que a gente responde em qualquer processo avaliativo então eu

vou trazer aqui uma definição que é uma definição pouco antiga né a avaliação começou a ser definida assim um p na década de 60 mas eu gosto dessa definição porque ela traz para mim elementos muito importantes assim os que precisam existir numa definição então primeiro eh que avaliação pode passar que eu vou falar de cada pedaço que a avaliação é uma análise sistemática ou seja não é opinião não é achismo pode seguir a isso ela tem natureza investigativa e ela tem que ser conduzida com a formalidade e o Rigor de uma pesquisa científica então é

a análise sistemática do qu da operação e ou dos resultados de um objeto Quando eu digo a operação eu tô dizendo a implementação eu tô dizendo também que a implementação tem a ver com um desenho né uma formulação depois eu vou falar mais eh e o objeto ele ele pode ser muita coisa e eu também vou falar sobre isso daqui a pouco eh então análise da operação ou resultados de um objeto comparado a uma série de padrões e o que que eu quero dizer com padrões são o que a gente espera que seja bom as

expectativas os critérios eh e isso tudo tem um propósito e o propósito não pode ser não pode se fiscalizar o propósito é que todos nós os os que todos esses atores envolvidos na educação aprendam para poder melhorar Então essa é a definição da Carol Wise eu acho ela muito completa e o monitoramento ele é parecido mas não é a mesma coisa eh o monitoramento é um processo também sistemático Porque também tem que ser feito com formalidade e com Rigor eh e contínuo né de acompanhamento de uma iniciativa de um objeto e a gente usa muitos

dados e informações para fazer isso mas a gente tem que ser sábio porque principalmente na área de educação a complexidade e o tamanho são muito difíceis são muito desafiadores eh e o que a gente quer com monitoramento é ajudar a gestão do programa A a saber se ele tá ocorrendo dentro daqueles parâmetros dos objetivos e das metas que eu combinei né que eu formulei então como o reloginho do carro né o velocímetro Ah se eu passei de 80 eu tenho que pisar no freio Ah se a luzinha do Óleo acendeu eu tenho que trocar o

óleo o monitoramento tem que levar ação né Eu acho que a secretária já falou sobre isso vamos seguir como é que o campo evoluiu sei lá no mundo tem um livro que eu gosto muito que fala das quatro gerações da avaliação então a avaliação começa eh com um enfoque de medição né de focar nos testes para verificar a dominação do conteúdo é mais ou menos o que a gente continua fazendo mas isso tá sendo feito desde o final do século XIX início do século XX depois ela evoluiu para um pouco de foco em objetivos de

saber se os currículos escolares estavam sendo eficazes e tem um estudo muito simbólico que chama Eight Year study Né estudo de 8 anos conduzido por um cara chamado Tyler na década de 30 e que foi o primeiro estudo de programa eh que aconteceu então ele às vezes é considerado o pai da avaliação depois entrou é numa numa era de julgamento a partir de 1960 mas não de julgamento punitivo mas de julgamento do mérito e do valor dos programas educacionais que iam além de descrever resultados e julgamentos com base em critérios e padrões externos né eu

eu me bati muito com essas duas palavrinhas mérito e valor eh que eu não sabia muito a diferença disso exatamente e eu aprendi com meu filho sabe eu um dia quis plantar uns vasinhos assim de tempero e pedi para ele Ô você não quer me ajudar a plantar porque eu queria que ele tivesse começasse a ter noções de Meio Ambiente né com sei lá 5 anos de idade mãe eu te ajudo mas eu quero te dizer uma coisa não vai ter nenhum impacto no meio ambiente isso tá então quer dizer tinha um mérito incrível vazinho

com ele mas não ia ter efeito nenhum valor né pra sociedade então é o valor é esse é o é o é o para fora né pra sociedade e a quarta etapa foi o construtivismo que é uma coisa que a gente ainda Tá se batendo avaliação como um exercício político e ético e não apenas como um exercício técnico O que quer dizer isso que perspectivas interesses dos vários atores dos principais atores precisam tá na mesa precisam ser negociados para chegar a construções conjuntas da realidade então quando eu avalio um programa na na área de educação

básica que é espalhado e tá rebatido em 5571 municípios eu preciso ouvir os municípios se é um programa que tá eh causando efeitos fundamentais na vida das crianças e dos adolescentes eu preciso ouvi-los eu preciso ouvir os professores eu preciso ouvir os diretores a gente precisa ouvir a gente não pode avaliar o programa da Nossa mesa e do nosso escritório com ar condicionado só com base indicadores a gente precisa ir lá a gente precisa ir em tartarugalzinho no Amapá sabe É isso aí gente precisa ir no interior do Amazonas para saber como que a política

pública acontece lá né como que os indígenas pensam sobre as políticas educacionais para eles a gente tá fazendo tudo errado porque um jovem sai da escola sem saber fazer nada sem saber apertar um parafuso e para eles o Saber manual o saber fazer é muito importante pra gente também né Eh assim são muitas pessoas que sabem o que é chave Philips né enfim vamos seguir então eu gosto dessa evolução porque eu enxergo a gente fazendo as coisas nos quatro eixos aqui na as quatro etapas a gente ainda tá medindo a gente e a gente ainda

não chegou realmente em praticar o construtivismo vamos seguir e no Brasil como é que evoluiu Oi Lucas bom no Brasil tudo começa eu acho nos anos 60 e 70 eh onde a fiscalização e controle ganharam muita força o gerenciamento por causa dos grandes projetos de infraestrutura e de desenvolvimento conduzidos durante o governo militar então o gerenciamento de empreendimentos ganhou muita força e e ele traz muito do monitoramento e avaliação com a redemocratização com a Constituição de 88 os primeiros ppas começou uma demanda maior por transparência da própria sociedade e da Participação Popular nas políticas públicas

né E também o apoio forte das agências multilaterais que sempre tiveram avaliação como valor isso anos 80 e 90 ó eu chegando em Brasília 90 nos anos 2000 a coisa ganhou corpo e e com a forte ênfase do primeiro governo Lula nas políticas sociais eh eles acharam que era muito importante avaliar então o bolsa família acho que é um dos programas mais avaliados da nossa história né a Sage foi criada eh a Rede Brasileira foi criada recriada e depois institucionalizada a revista brasileira de monitoramento e avaliação foi criada eh movimentos no senado né uma portaria

que determinou que o Senado também devia avaliar as políticas públicas agenda dos investidores sociais privados eh uma agenda de avaliação do gif né que é o grupo que que reúne essas organizações eh então a cultura começou a ganhar corpo né no setor não governamental também e depois a gente eu diria que a gente tá numa fase de consolidação né de mais regulação tivemos a lei de acesso à informação também diria que comparando os programas que analisava em 90 para cá a complexidade aumentou muito eh então tivemos decretos a criação do semap da secretaria nacional agora

essa Essa secretaria e coordenação do MEC que nunca existiu eh o mestrado da inap que é um bom programa aliás vou fazer Jabá as inscrições estão abertas né Rafael ainda e um bom programa né um mestrado para gestores públicos é aqui em Brasília então eh pensem em fazer isso E então e a avaliação começando a ser vista como instrumento de aprendizagem pode seguir ah mas nós precisamos cumprir a lei fazer avaliação é cumprir a lei está lá na no artigo pode voltar um pouquinho da Constituição né que diz que os órgãos e entidades da administração

pública devem realizar avaliação das suas políticas e com divulgação do objeto a ser avaliado e dos resultados cansados então transparência a gente precisa avançar nessa regulação vamos seguir eh O que que a gente avalia afal né a gente pode avaliar muita coisa eh os objetos de avaliação são diversos então a gente avalia programas a gente avalia políticas a gente avalia sistemas a gente avalia produtos serviços e etc a gente avalia a roupa que a gente vai vestir hoje a gente avalia o a casa que a gente vai comprar ou alugar ou morar a gente avalia

a cama que a gente vai dormir o colchão avaliação é um exercício da nossa vida mas quando ela é aplicada a a políticas públicas ela tem características especiais passa um pouquinho Lucas eh Então como que isso é na Educação Básica pode seguir na educação básica então nós temos aquele grande guarda-chuva de educação que é visto como a política nacional de educação com as suas diretrizes 10 diretrizes metas eh nós temos sistemas né o saeb os sinais são sistemas avançadíssimo e referência para muitos países um trabalho incrível de conseguir aferir o aprendizado nos nossa 5570 municípios

e enorme gigante super importante temos programas e projetos eu dei uma fuçada lá no site do do da Secretaria de Educação Básica são 47 eh programas projetos são muitos eh e eles como disse a secretária tão conectados e existe uma visão sistêmica por trás deles O que é muito interessante nós também na educação temos produtos né então Eh temos escola como produtos temos creches como produtos temos material didático como produtos que são insumos né da da política e que precisam ser avaliados também eh e também já existe né dados sobre isso consenso escolar e tal

e os serviços educacionais né saber se nós estamos prestando um bom serviço para quem né para os nossos nossos estudantes pras nossas famílias pras nossas comunidades para que eles tenham oportunidade né Eh a secretária mencionou né que o que difere um estudante Branco um estudante negro é a diferença de oportunidade é verdade né É É nesse funil que a desigualdade começa a acontecer pode seguir e quando agora aqui eu eu trouxe uma brincadeira Eh agora nós vamos fazer pastel para fazer pastel a gente precisa ter os ingredientes a gente precisa preparar a massa rechear a

massa fritar o pastel e alguém vai provar aquele pastel e vai dizer se o pastel tá bom ou não tá bom não é assim vai avaliar a Pastelaria o atendimento da Pastelaria e tudo mais Então pode ir Lucas eh o que a gente tem o que eu vejo como foco avaliativo eh na educação é um pouco bastante no pastel e e na qualidade do pastel e aí a gente vê nossa nesse lugar aqui o pastel não tá bom nós precisamos melhorar o pastel mas para melhorar o pastel nós precisamos melhorar os insumos então a gente

até olha pros indicadores de insumos a gente eu ouo falar na meta de percentual do PIB que nós vamos investir na educação mas tem mais coisas mais insumos mas a gente olha muito pouco eh pra preparação do Pastel que são os programas a implementação dos programas porque de repente a gente pode fazer um pastel sem recheio Ou a gente pode fazer um recheio estragado ou a gente a pessoa que tá preparando pastel né que são os professores não tá bem preparada para fazer o pastel ou tá a cozinha que ela tá preparando o pastel não

tem condições mínimas de trabalho enfim a o objetivo desse slide é dizer que todas as etapas são importantes o desenho é importante eh e a gente precisa investir dinheiro para avaliar os programas pode seguir e quais são os critérios com base em que que a gente avalia os critérios mais usados e consagrados na avaliação são os critérios que foram definidos pela ocde eh para avaliar programas internacionais de desenvolvimento que eles chamavam de assistência ao desenvolvimento então é uma coisa colonizadora né de um certo por um certo sentido Mas por outro tem o seu lado bom

porque ajudou a organizar bastante a cabeça do campo da avaliação né então são seis critérios básicos né eles falam em eficácia né estamos atingindo nossos objetivos estamos cumprindo nossas metas eh eficiência que é estamos usando bem os nossos insumos os nossos recursos financeiros tecnológicos humanos eh efetividade que o impacto né Que diferença a minha intervenção minha política está fazendo eh na sociedade na vida das pessoas a coerência se a intervenção se o que que tá sendo feito lá no município tá coerente com a minha política estadual minha política nacional meu plano nacional eh a a

relevância né Se se isso que tá sendo feito é importante an para pro nosso futuro né pro nosso desenvolvimento a sustentabilidade que para eles não tem um uma um foco muito ambiental mas tem mais sentido de perenidade né esse investimento que eu tô fazendo a hora que eu tirar né ele a mão dele ele vai durar ele vai permanecer esses investimentos que a gente tá fazendo há tantos anos eles vão permanecer mas outros critérios foram surgindo conforme a gente foi tendo a noção da da importância eh da da desigualdade do tamanho da desigualdade da sustentabilidade

ambiental Então os critérios de diversidade Equidade inclusão eh de de potencial que uma iniciativa tem de transformar uma realidade também da conformidade com as leis os regulamentos as diretrizes que é bastante o foco dos auditores e ele é importante também eh existir eh a questão da interdisciplinariedade né quando a gente por exemplo olha pra agenda 2030 né da desenvolvimento sustentável da ONU a gente vai Enxergando as conexões nossa saúde e educação tem uma conexão forte assistência cidades a gente vai enxergando que não dá para olhar a educação isolada do resto né Por exemplo pode seguir

Lucas e a avaliação acontece num processo né de algumas etapas e primeiro a gente precisa mergulhar na realidade mergulhar entender os problemas e pensar nas variações de contexto na interdisciplinaridade Então é isso se a gente quiser fazer bem avaliações seja lá em que Instância que a gente fizer mesmo que seja no nível do município eh você se tá no município é um gestor Municipal vá na casa daquele estudante que tá para trás para saber o que tá passando na vida dele né entender Por que os estudantes uns aprendem mais uns uns menos eh começar a

olhar pras desigualdades numa turma de de raça de de aproveitamento eh de gênero eh a gente tem muito que abrir nossos olhares eh sobre isso na educação e eu eu sinto que tá começando também olhar os contextos territoriais as desigualdades territoriais são violentas né Não dá para comparar uma escola numa capital de São Paulo Rio com uma escola rural no interior de Goiás né são realidades assim parece que tem 100 anos separando uma uma da outra o segundo passo é conhecer o meu objeto né conhecer profundamente o o programa né que que esse programa tá

fazendo onde ele quer chegar Que mudanças ele quer promover ele é capaz de promover essas mudanças porque às vezes a gente coloca uns ob objetivos assim tão malucos tão inalcançáveis e fica todo mundo frustrado porque aquele programa não vai dar conta de alcançar aquele objetivo pode dar conta de contribuir né Eh mas é importante exercitar esse entendimento e tem ferramentas muito interessantes para exercitar isso como modelo lógico como a teoria da mudança enfim muitas coisas que dá para praticar eh depois que a gente tem uma teoria da mudança formulada a gente olha e fala assim

Ah então o que que a gente quer saber e assim e aí é que começa a aparecer a importância de envolver vários atores porque atores diferentes querem saber coisas diferentes às vezes incompatíveis então é preciso haver uma negociação eh de colocar num processo avaliativo os interesses de quem precisa tá sendo considerado então você não pode fazer um avaliação de um programa na área de educação sem escutar um estudante sem escutar um professor e não é escutar como mero eh provedor de informação e de dados é escutar mesmo o que que você acha que é importante

saber aqui nesse processo avaliativo O que é que pergunta que importante que ficou de fora aqui para nós eh desde aí então a gente já constrói né um processo mais inclusivo depois os dados gente os dados né todo mundo acha aquela frase que você só Gere o que você pode medir claro que é importante medir mas existem medidas eh qualitativas então medidas não são só números esse processo de escutar e de gerar dados e informações qualitativos ele é tão válido e Poderoso quanto os números números e um deve complementar o outro todos já defendem hoje

o uso do método dos métodos mistos aqueles que combinam qualitativo e quantitativo e como é que eu faço isso vou lá vou entrevistar vou fazer grupo focal eh vou observar são vários métodos que a gente empresta das Ciências Sociais para usar nos processos avaliativos eh e eles permitem dar voz a quem não tem voz né são eles que permitem e bom depois de tudo isso coletado eu vou fazer análises científicas né com métodos científicos e vou chegar a conclusões vou fazer recomendações vou comunicar bem né Essas recomendações esses eh essas conclusões para que haja um

uso tem uma uma história e é muito verdadeira muitas avaliações vão parar na gaveta Então se uma avaliação de programa é feita e vai parar na gaveta ela não tem qualidade é uma avaliação serve para que um gestor possa tomar a decisão para que ele possa agir para que a gente possa olhar pro futuro e ver como que as coisas podem ser melhores então vocês veem que a avaliação não é um bicho de sete cabeças e esse processo não precisa ser punitivo pode ser um processo de alianças onde todos de mãos dadas estejam tentando aprender

aquilo que é mais importante pro nosso país que é uma boa educação básica vamos seguir Bom agora eu vou falar um pouco da Rede Brasileira de monitoramento e avaliação e é uma rede então que tem várias irmãs aqui né na na área de educação vocês eh começando a criar as redes e consolidar essas redes eu eh Estudando muito esse assunto eu li uma nota técnica do do grupo de avaliação da ONU que eu achei que tem os seis Element mais importantes para que a gente torne a avaliação uma atividade mais profissional e e eu vou

explicar cada um deles e eu vou e eu vou mostrando que papel que a rede brasileira tem tido eh na evolução desses seis elementos né então Eh o primeiro é formação e treinamento depois disseminação de conhecimento e das boas práticas e diretrizes padrões e princípios éticos as competências e as capacidades que são necessárias para fazer avaliação o reconhecimento dessas competências e as estruturas institucionais Eh vamos lá Lucas então formação e treinamento é é um pouco o meu orgulho de ter feito eh a Minha tese de doutorado sobre isso pode pode seguir Lucas eu mapeei todos

os cursos volta Lucas de pós-graduação no mundo inteiro e aí vocês veem aqui que os cursos de pós-graduação em avaliação estão muito concentrados né no Norte na na América do Norte aqui tá incluído o México Canadá Estados Unidos nós temos na América Latina 35 programas eh a Europa não tem muitos a África tem 33 a Ásia tem pouquíssimos eu não até hoje não consegui entender e a Austrália e Oceania tem dois eh bom vocês podem acessar esse diretório de programas que virou um sistema né o o Banco Mundial me ajudou a construir um sistema com

os dados que eu coletei da minha pesquisa e no Brasil eu mapeei que nós temos 15 programas de pós--graduação todos presenciais eh e assim desconectados eh por que que eu tô falando isso porque com esse estudo eu eu mapei o que é que um bom conteúdo de um programa para que ele forme avaliadores transformadores né aqueles avaliadores que realmente tem uma visão sistêmica e que usem os métodos mistos e que possam Fazer uma avaliação voltada pro Futuro enfim Eh vamos pro segundo então a a quando a gente na rede fez o documento das competências a

gente mapeou esses 15 né então se vocês tiverem curiosidade me escreve que eu mando a tabelinha dos 15 para vocês e o da enap é um deles o segundo eixo da disseminação e das de conhecimento e das boas práticas bom gente é um universo de literatura de livros de artigos de revistas de tudo que vocês puderem imaginar a gente vai poder passar a vida inteira estudando eh e a gente não vai conseguir absorver tudo mas existem muito bons livros em inglês Infelizmente mas a gente tem alguns poucos livros em português a gente tem revistas especializadas

e eu convido vocês a conhecerem a revista brasileira de avaliação que mudou de nome durante muito tempo a revista teve parceria da Sage Então os primeiros números foram feitos muito com a ajuda do Paulo januse que vai estar aqui com vocês mais tarde eh mas toda a associação e de avaliação do mundo tem uma revista e no Brasil tem a a nossa mas também tem outras tem uma revista mais voltada paraa educação que é da ces Gran Rio tem uma revista Av que é da Federal do Ceará eh então bom tem aí bastante material para

pesquisar eh os seminários também são oportunidades incríveis de ouvir a prática ouvir as trocas de experiências de de discutir de conhecer pessoas de fazer networking então a rede faz já fez 11 seminários nacionais o último agora foi em Belém foi o mais maravilhoso do mundo porque foi aberto por um indígena que falou da Visão dele sobre avaliação e isso foi muito lindo eh tem também a g local que é um uma semana de eventos online que a gente no Brasil pode aproveitar muito e tem os internacionais Ah não tenho que falar da né Vocês já

devem ter ouvido falar né da Associação Brasileira de avaliação Educacional que também tem uma gestão nova e já fez 13 reuniões Então é bom ficar ligados né o último foi sobre o futuro da avaliação e avaliação do futuro então estão todos com com os olhos no futuro pode seguir aí a questão das diretrizes e padrões n comeou com esse the program evaluation standards que que é foram os padrões eh que surgiram lá no começo nos Estados Unidos que foram formulados pelo um comitê eh conjunto de avaliação na área de educação Então tudo começa na área

de educação e esses padrões têm sido revisados é um livro gente de 450 páginas não sei se alguém conseguiu ler isso um dia mas tá lá e assim e as outras organizações do mundo foram seguindo isso o Canadá tem os seus padrões a ONU tem os seus padrões eh a América Latina escreveu um documento dos estándares também a a a uneg Já falei tem uns livros sobre éticas os Estados Unidos tem os guiding principles que são os princípios éticos eh que tem muito que falar sobre isso né O que que significa ser ético num processo

avaliativo por exemplo eh se ater à evidências né não querer maquiar números eh ouvir Quem deve ser ouvido é uma atitude ética né então a rede fez dois documentos eh que foram construídos totalmente de forma colaborativa com a comunidade de avaliação no Brasil muitos entrevistados ou vindos fizemos grupos focais com avali negros com avaliadores jovens eh e e e foi lançado esse documento em 2020 que chama diretrizes para prática de avaliação no Brasil e esse outro documento que chama mais avaliação menos desigualdades porque é com o intuito de evitar que a gente com as avaliações

Reproduza o racismo reproduza as desigualdades que a gente que tá impregnado Como disse bem a secretária Cátia eh nas políticas públicas e em tudo que a gente avalia por exemplo né eu tô avaliando o programa agora e eu queria fazer a correlação entre percentual de estudantes negros e o aproveitamento dos gestores naquele programa eu não tenho eu não tenho os dados a gente não tem os dados dos dos Estudantes indígenas não tem e a gente precisa melhorar isso né senão a gente não consegue avaliar Eh vamos seguir depois disso tem a resposta de uma pergunta

que eu ouvi durante muitos anos Escuta aqui que que eu preciso saber que que eu preciso ter para para fazer avaliação para contratar uma avaliação Para encomendar uma avaliação porque as competências não são só para fazer são para fazer para encomendar e para usar né para isso tudo a gente precisa de competência quem encomenda é que nem encomendar eh um serviço ISO né se eu não entendo daquele serviço não vou encomendar bem então alguma coisa eu tenho que entender e saber muitas organizações eh também trabalharam em documentos de competências Austrália Europa ONU Estados Unidos e

tal e a gente desenvolveu também esse documento que foi lançado agora esse ano tá disponível para todo mundo no site da Rede aqueles outros dois também que chama competências paraa prática de avaliação do Brasil ele é é primo dos das diretrizes ele tem os mesmos eixos O que que tem nesse documento eh tem o que eu preciso saber que atitudes eu preciso ter que habilidades eu preciso ter para fazer conduzir encomendar usar avaliações então é um documento em português e tá super detalhado eu diria que ele é o documento mais contemporâneo porque ele traz a

ância do pensamento sistêmico ele traz a importância dos métodos mistos ele traz a importância de usar a tecnologia porque a tecnologia vai revolucionar né a maneira como a gente tá fazendo avaliações eh e tem uma outra coisa aqui nesse eixo que é como que eu desenvolvo capacidades individuais tá muito nas competências Mas organizacionais então existem umas umas teorias umas frameworks umas estruturas eh de como o que que eu preciso ter numa organização para desenvolver a capacidade dela em encomendar fazer e usar avaliações por exemplo ter dados ter sistemas de dados por exemplo eh praticar a

avaliação e trazer os resultados da avaliação para uma discussão com a equipe com os gestores olha fizemos aqui avaliação do programa alfabetizador né criança alfabetizada vamos saber como é que a gente fez para entender o contexto desse programa como é que esse programa acontece nos diversos contextos como é que a gente fez para entender este programa que que é o programa O que que ele faz o que que ele entrega Que efeitos ele quer gerar e gera que relação uma coisa tem com a outra Que métodos que eu usei que foi que eu escutei que

perguntas eu fiz como que eu respondi e e como que eu comuniquei esses resultados a gente gente faz um relatório de avaliação de 250 páginas ninguém vai ler isso sabe a gente precisa aprender a transformar essas informações que são valiosas para todos em infográficos em coisas mais bonitas em vídeos em fotos né em coisas que vão a pessoa vai bater o olho e vai ter um impacto Nossa entendi isso é muito muito importante então eu acho muito eu acho que um dia a gente vai eh avançar para discutir como é que as capacidades organizacionais do

Governo da do terceiro setor precisam avançar né E tem avançado a Sage foi um exemplo né Todo mundo se lembra do do quanto a Sage foi referência para todo mundo como institucionalização da avaliação pode seguir bom aqui é um ponto um pouco mais complicado por quê eh muita gente fala puxa se as pessoas estão fazendo avaliação com qualidades tão diferentes com preparos tão diferentes Então por que que a gente não cria um sistema de credenciar hum eh duas organizações fizeram isso e eu conheço mais o trabalho da canadense eles cri um programa de credenciamento de

avaliadores que tem lá eles T que fazer uma formação e aí eles T um consórcio de universidades formadoras que tem um programa comum eu acho isso muito interessante eles TM uma prova os avaliadores TM que já tô acabando é último slide os tem um milagre que acontece comigo que eu nunca atraso não sei o que é eles tem uma prova e eles T que mostrar que eles T experiência que eles frequentam congressos que eles escrevem artigo enfim um monte de coisa parecido com pemai eu não sei se vocês conhecem o o pmi que é o

Project Management gestão de projetos Instituto que eles fazem uma prova também etc bom no fim ah fizeram uma avaliação desse programa de credenciamento e não foi não foi achado não foi demonstrado que ele é tão valioso assim para quem encomenda e ele é caro e ele é trabalhoso e e é a sociedade canadense que que gerencia esse programa e enfim eu acho que se um dia a gente chegar nisso a gente tá muito longe ainda acho que a gente tem muito que construir de bases por enquanto antes de pensar nisso nessa indústria de de credenciar

Mas a gente pode verificar eh né a Claro se eu vou contratar alguém para fazer avaliação Para mim Ah eu quero checar como é que eu checo Ah eu quero saber se aquela pessoa tem experiência se tem experiência naquele assunto em avaliar programas daquele tipo se a pessoa tem formação em avaliação se a pessoa se eu posso ter referências daquela pessoa com outros eh clientes outras pessoas com quem ela trabalhou Ah e no governo que eu vejo um movimento mais interno de contratação por exemplo o ipé fazendo várias avaliações e tudo ah é preciso checar

também é preciso saber encomendar bem tudo que começa bem combinado acaba bem né Então é assim que a gente faz por enquanto Eh vamos seguir bom e as estruturas institucionais várias organizações organizações têm estruturas e a gente pode se espelhar um pouco nelas né a uneg tem o o grupo de avaliação das Nações Unidas que para mim é a coisa mais institucionalizada porque eles têm padrões para tudo pra contratação padrões para para fazer avaliação guias éticos assim muito muito bem feito e eles estão sempre avançando em discussões em publicações e tal os bancos né as

agências ONU tem seus escritórios de avaliação independente que tem um papel por exemplo teve no seminário New development Bank né o banco dos Bricks que tem lá um escritório de avaliação independente que se reporta ao conselho de diretores do banco né é um é um desenho os órgãos governamentais a gente pode ter como exemplo África do Sul que avançou muito chegou a ter um ministério de avaliação eh acho que não tem mais mas chegou a ter o México teve aqui esse conselho né de avaliação de políticas públicas os Estados Unidos durante muito tempo eh teve

o o o TCU deles como o Balo arte assim da da das avaliações deles no Brasil nós temos né a SJ como um exemplo que vale a pena estudar que muitos já estudaram como que a Sage estava estruturada é muito interessante organizacionalmente né o semap tá aí né passando por mudanças mas desde 2019 é um conselho novo a secretaria nacional de avaliação do mpo então eu eu vejo com olhos muito felizes sabe a esse assunto ganhando corpo ganhando força no governo federal eh e o global evaluation initiativ que é do Banco Mundial se tornou um

portal né aquele better evaluation que a gente pode traduzir português tem tudo que vocês podem imaginari naqu Portal conheciment important E essas organizes que eu citei aqui as sociedades as associações as como é a rede brasileira que são organizações voluntárias portanto elas não estão para concorrer com ninguém elas estão para promover a profissionalização da avaliação nos contextos dela e tem organizações nacionais regionais e globais aqui é o mapa São mais de 100 organizações como a nossa né no mundo todo E que o tempo todo tão fazendo discussões de decolonização como é que é a a

avaliação deveria ser na no contexto africano eh no asiático então é muito legal pra gente abrir também a cabeça né sobre como os outros estão pensando e no Brasil aqui temos a abav tem a rbma tem um GT de avaliação da Brasco que é da área da saúde tem o cli que é um um centro eh ligado mais ao Banco Mundial quer dizer promovido pelo Banco Mundial mas que está na FGV na Faculdade de Economia eh de São Paulo enfim Eh meu último slide agora é convidar vocês para fazer parte da rede né é só

entrar aqui no rbma site também seguir a gente nas redes no Linkedin no Instagram eh E participar né da D D as mãos com a gente pra gente seguir profissionalizando e desenvolvendo esse campo lindo né no Brasil que é minha paixão e então é isso mais uma vez obrigada e pela oportunidade de estar aqui e espero que tenham outras tá bom Nossa imensa gratidão a professora Márcia por essa apresentação tão valiosa neste momento faremos uma pausa e convidamos a todas e a todos para aproveitarem o nosso café nós retornaremos pontualmente às 11 horas então é

10 minutinhos muito rápido por gentileza eh 10 minutinhos para o nosso Cofe brck [Música] Oi tá pisc Oi tá acabando n tava piscando na hora que ela me entreou [Música] ei ei um do som a [Música] ei som [Música] pessoal oi vamos voltando gente quem tiver com lanchinho pode trazer paraa sua mesa porque a gente já tá um pouco atrasado vamos lá pessoal todo mundo retomando seus lugares pra gente poder começar Professor valdoir Luciana mcia Baldini Marisa Costa Vamos todos pra mesa senora fal a é outro nível reforçando o pedido da secretária Cátia pedimos por

gentileza a todas e todos que voltem aos seus lugares Podem trazer o seu lanche para as mesas para nós retomarmos as nossas atividades por gentileza pedimos a todas as pessoas que retornem aos seus lugares para nós darmos continuidade SA mais uma vez pedimos à pessoas que ainda se encontram no ambiente do Coffe Break que retornem à suas mesas retornem a seus lugares Para darmos continuidade pode trazer o seu lanche eh m C atenção senhoras e senhores por gentileza Pedimos que retornem aos seus lugares para continuidade à nossa atividade desse período mastino aqueles que ainda estão

em posse do seu Coffe Break do seu lanche pode por gentileza trazer para suas mesas e assim nós retomaremos a nossa atividade ah assim pois bem dando a nossa programação Esperamos que todos tenham aproveitado bastante esse momento do nosso Coffe Break daremos início aos nossos debates temos o prazer de anunciar a nossa primeira mesa temática do evento chamada modelos de avaliação a coerência entre desenho e método convidamos a professora Janaína mar que terá a honra de moderar esta mesa Uma salva de palmas a professora Janaína é Doutora em administração pela Universidade de Brasília servidora do

INEP e coordenadora Geral de monitoramento e avaliação da Educação Básica da Secretaria de Educação Básica do Ministério da Educação para compor a mesa convidamos o professor Rafael Ferrari da escola nacional de administração pública enap e a professora Rosana bulhosa do departamento de gestão de políticas públicas da Universidade de Brasília para dar início aos trabalhos passo a palavra à professora Janaína que fará mediação desta mesa e apresentação também dos palestrantes Bom dia a todas e a todos eh É com grande alegria pessoal que eu olho para cada um de vocês aqui eu sei que a gente

tem equipes da Seb da SAS da ctec da secadi de todas as secretarias do MEC da segap que estão envolvidas com a Educação Básica e isso é muito sair das nossas dos nossos postos de trabalha no mec para estar aqui para um momento de formação e de aprendizado eu sei que significa fica muito para cada um de vocês eu sei que cada um certamente hoje à noite estará trabalhando por conta desse tempo que tiraram para para se formar para aprender algo novo é muito bom também poder poder olhar para os articuladores estaduais da renala que

alegria ver vocês novamente num momento diferente muito obrigada por estarem aqui conosco os representantes da das secretarias estaduais também eh um Dime concede nessa parceria sempre Firme com o Ministério da Educação e com a Seb eh eu quero também agradecer ao professor Rafael e a professora Rosana por terem prontamente aceitado o nosso convite falar de de avaliação de políticas públicas é falar de um tema muito caro para o país e Especialmente quando a gente coloca o olhar sobre as políticas de Educação Básica eh avaliar importa né avaliar importa mas avaliar Exige uma atuação profissional e

é por isso que a gente precisa se formar e se capacitar para isso falando de Formação não poderia deixar de citar a enap O Rafael ele representa a enap uma instituição de excelência que vem fazendo um trabalho há décadas na formação de servidores públicos quem aqui pelo menos aqui em Brasília nunca fez um curso da enap Acho que são raras as pessoas que nunca passaram pela enap seja por uma formação eh presencial ou EAD certamente já fizeram alguma formação lá eh e a professora Rosana representa aqui uma das mais renomadas universidades públicas desse país a

Universidade de Brasília que tem um departamento de gestão de políticas públicas que é uma honra pro país e do qual a professora Rosana faz parte eh esse curso que é da maior importância tem ajudado a formar milhares de jovens que vão se tudo der certo ter uma atuação profissional na gestão pública isso também é muito importante eh por tudo isso pessoal eu não poderia estar cercada aqui de pessoas melhores do que o professor Rafael e a professora Rosana eu digo isso de verdade eh eles vão nos mostrar aqui que a avaliação não é uma coisa

única que a avaliação exige escolhas que a avaliação Exige uma reflexão uma tomada de decisão que é preciso ter coerência que a gente precisa saber o que a gente quer quando vai avaliar que as perguntas avaliativas importam que método importa e que a gente faz isso com valores e esses valores também importam e determinam onde a gente vai chegar então Eh sem mais delongas para falar sobre os modelos de avaliação eu vou vou passar a palavra ao meu amigo Rafael Ferrari o Rafael posso chamar de amigo sobreviveu comigo a um furacão O Rafael é servidor

da carreira de especialista em políticas públicas e gestão governamental trabalhando de maneira muito séria e comprometida na Coordenação Geral de avaliação e organização de evidências da Diretoria de Altos estudos da inap Rafael trabalha quase duas décadas com avaliação de políticas públicas com atuação em mmos internacionais diferentes órgãos do governo federal eu peço uma salva de palmas ao querido professor Rafael [Aplausos] ferrar Muito obrigado pelas carinhosas palavras recebo com muita alegria essas palavras gentis em meu nome em nome de enap também né Muito bom ouvir o reconhecimento né que o Ministério da Educação um ministério tão

grande quanto o MEC tem em relação ao nosso trabalho né que nap vem desenvolvendo ao longo desde no final da década de 80 né e mais recentemente na área de avaliação a gente tem uma Diretoria de Altos estudos n enap e mais recentemente a gente tem uma Coordenação Geral de avaliação e organização de evidências que a gente tem trabalhado não apenas para fazer avaliações avaliar programas avaliar políticas mas se utilizar desse processo avaliativo para formar servidores então mais importante do que o resultados achados da avaliação também é muito importante o processo de se construir de

trabalhar avaliação então Agradeço o convite a oportunidade de estar aqui eh se posso pedir a gentileza de colocar na os meus slides vai ser fácil passar pelos slides vai ser bem rápido a professora Márcia passou eu acho que por metade dos slides que eu preparei Muito obrigado na verdade então acho que eu vou conseguir avançar um pouquinho mais sei se já estão ainda não ali e mas enquanto os slides entram assim eu acho muito interessante né Eu já trabalhei alguns anos no mec Eu acho que já da minha carreira Eu acho que eu passei 8

ou 9 anos no Ministério da Educação e sempre achei interessante desde mais novo entrava na passava pela portaria sempre receb Bom dia professor aí eu não sou professor tudo bem professor e novamente assim então bom a quando eu estava preparando a apresentação eu escrevi o título da apresentação eh avaliação como instrumento de gestão Eu acho que isso dialoga muito com a apresentação com a fala da secretária Cátia com a fala do do diretor Marcos e qu fala de todos os demais que tiveram aqui né de enxergar a avaliação não como uma atividade de cobrança não

como atividade apenas de Transparência Mas que que ela faz também né ela pode ser um instrumento de comunicação importante um instrumento de Transparência importante mas Vamos enxergar avaliação como um instrumento de gestão mas no final eu falei assim quer saber eu vou mudar o nome eu vou trazer um outro nome para isso então uma avaliação como uma atividade contextual pode passar por gentileza que que eu vou querer conversar com vocês aqui hoje eu vou querer eu eu eu sempre gosto de trazer esse pergaminho que foi achado lá nos manuscritos do Mar Morto que traz o

propósito da avaliação não é provar mas aprimorar então eu gosto sempre de trazer essa frase essa frase de stopin pode passar o slide que é de um livro de 1971 ou seja nada recente mas muito atual Então essa epígrafe Ela traz a ideia de Para que serve a avaliação Qual que é o propósito o que que eu quero com isso o que que eu quero com avaliar e ela vem de um livro que não tem no seu nome apenas avaliação de programas mas eu acho que pra plateia é muito relevante né educational evaluation decision making

né avaliação Educacional e tomada de decisão esse campo da avaliação Educacional que foi um dos precursores do que a gente chama hoje de avaliação de programas né bebeu muito na fonte né da da avaliação Educacional Então olha lá 1971 a gente discute já começava a entender que olha vamos olhar pra avaliação como um instrumento para aprimorar a gestão pública eh E desde então a gente vê que a avaliação é o conceito de prática que vem evoluindo E aí de forma não linear a professora Márcia colocou as gerações de avaliação né eu gosto muito dessa metáfora

das Gerações de avaliação mas eu gosto também muito de uma outra metáfora do professor vedung das ondas de avaliação que ele trata das quatro ondas e são muito semelhantes né onda mais científica onda mais dialógica onda da nova Gestão Pública depois uma nova onda científica porque ele fala assim assim como as ondas vem e vão elas deixam sedimentos Então se a gente tinha uma determinada a ideia de avaliação determinadas características eh priorização de determinados métodos escolhas critérios isso vem isso vai mas isso vai ficando né E vai agregando né esses sentimentos vão ficando E essas

ideias do que é avaliação dos motivos de avar e de Como avaliar eles vão ficando então é sempre importante a gente pensar em métodos propósitos e que existem abordagens diversas para trabalhar avaliação e por isso que eu trago aqui a ideia de avaliação como uma atividade contextual porque a o planejamento da avaliação o desenho da avaliação ela vai depender desse contexto não vou entrar em detalhes aqui porque a gente vai chegar isso ao final e vou pedir para passarmos pra próxima que a ideia de que é avaliação de pía públicas eu acho que a gente

passou com a professora Márcia um pouco sobre essa distinção até eu trouxe uma uma uma definição que ela já trouxe aqui da própria Carol Mas vamos olhar para um programa ou para uma política como uma hipótese que é uma perspectiva mais clássica né Então olha eu tenho determinado problema então Olha vou pensar numa solução para resolver esse problema e aí a avaliação vai ser o quê a avaliação vai ser o teste dessa hipótese e nessa perspectiva clássica a gente vai pensar então avaliação ela vai envolver conhecimento obviamente racionalidade ciência isso ninguém discute de fato envolve

mas próxima a gente não pode esquecer que quando a gente pensa naquele problema na maioria das vezes a gente tem diversas formas de resolver uma situação e a escolha dessa do programa do desenho do programa pensa Olha eu quero fazer isso para resolver determinado problema ela vai depender de uma série de variáveis ess elas envolvem não apenas ciência não apenas racionalidade envolvem valores envolvem interesses envolve subjetividade individual ou coletiva principalmente enfim atividade política perc então não somente desenhar o programa é uma atividade política mas avaliar também a gente pode entender isso não quer dizer que

não seja uma atividade técnica ela é uma atividade técnica é uma atividade profissional que envolve conhecimento envolve ciência envolve metodologia Mas é uma atividade também que envolve valores envolve política e a gente tem que reconhecer desde o princípio isso pode passar por gentileza e pode passar de novo a gente já passou né avaliar significa valorar mérito né E a gente vai julgar e definir esse mérito com base em qu então eu tenho cor de vários critérios e eu vou deixar essa bola pro final professora má passou um pouquinho vamos passar vou passar muito desses slides

Vamos guardar essa bola pro final vamos passar vamos passar pronto aqui a Márcia trouxe a definição da avaliação da carova eu quero me debruçar um pouquinho mais sobre essa definição Por que que ela é tão importante que a gente quando olha uma análise sistemática do processo ou resultado de um programa em comparação com um conjunto explícito ou implícito de padrões com objetivo de contribuir pro seu apressamento essa definição ela tem vários elementos é importante que a gente Pense nisso porque isso vai mostrar pra gente que avaliar não tem um único jeito um único caminho então

ó a gente tem análise sistemática on se enfatiza a natureza metodológica da pesquisa bom todo mundo aqui já ouviu falar de metodologia de pesquisa metodologia quantitativa qualitativa métodos mistos dentro disso de várias técnicas que que é melhor que que é pior Vamos chegar lá o objetivo investigação ou seja o processo de execução ou resultado do programa político qual que vai ser o objeto da minha avaliação Para onde que eu tô olhando onde tá minha lente Onde está meu foco em comparação com o conjunto explícito ou implícito de padrões Quais são os meus critérios meus padrões

de comparação meus padrões para julgamento para falar se isso funcionou ou não funcionou isso é bom ou isso é ruim devemos continuar ou não devemos E também o propósito aqui já faz o objetivo de contribuir pro aperfeiçoamento então o propósito da avaliação contribuir pra melhoria do programa da política então é muito interessante a gente pensar nesses vários elementos então aqui quando a gente fala avaliação de política Já tá pensando que não tem um caminho único um sentido único né então aqui eu vou retomar a frase do Marcos né pensando em relação ao programa ele falou

em relação ao programa que eu falo em relação à própria avaliação como fazer avaliação depende qualquer caminho serve para quem não sabe onde quer chegar próximo slide por gentileza Então essas três perguntinhas são as perguntas mais importantes na minha visão para quando a gente quer começar uma avaliação para definir a onde a gente quer chegar então Primeiro para que eu quero avaliar eu não tenho uma única finalidade para avaliação eu posso pensar isso em mim como gestor Ou posso pensar também como uma organização porque pensando em organizações organizações T propósitos distintos características distintos e atribuições

distintas algumas organizações por exemplo mais vinculados ao controle podem pensar na avaliação da Perspectiva da Transparência como sendo importante na questão da conformidade isso errado não é a perspectiva delas mas vamos pensar na gente no meu dia a dia no seu dia a dia como gestor de políticas públicas como gestor de um programa como equipe de um determinado programa Quais são as necessidades informacionais que vocês tê que que você precisa saber então isso vai te ajudar a responder para que que eu quero avaliar eu quero avaliar para saber se eu preciso aumentar o orçamento eu

quero avaliar para saber se eu preciso dosar o tamanho da minha equipe eu quero avaliar para saber se eu preciso de uma mudança dos meus processos nas minhas atividades saber se os resultados que eu estou alcançando estão sendo efetivos ou seja gerando aquele Impacto aquele valor que eu esperava Então para que que eu quero avaliar também é importante depois disso ao responder essa pergunta de para que avaliar pensar o que eu quero avaliar Ah eu quero avaliar o programa X ou eu quero avaliar o programa pmail por exemplo pegando um exemplo aqui de um dos

programas mais recentemente lançado no Mac mas é Além disso o que no programa eu quero avaliar Qual é meu resultado voltando paraa definição da Vaz eu eu quero olhar pro processo do programa eu quero olhar pro resultado Mas mesmo dentro do processo eu posso olhar para diversas coisas eu posso faler assim pera aí vamos pensar eu quero olhar sobre meus eu quero olhar para meus insumos para saber se os insumos estão chegando da maneira como que eles deveriam eu quero olhar pras minha pros meus processos atividades que que eu tô fazendo eu tô fazendo como

eu esperava que era que as coisas eram feitas isso por exemplo na partiva de educação em que a gente tem programas federais com execução estadual e municipal e alguns programas até com execução dentro da escola isso é muito importante para saber que que é feito em cada um vamos olhar pra governança desse processo então a gente pode olhar na Perspectiva do que avaliar do objeto da avaliação a partir desse olhar Então não é só vou avaliar o programa X mas o que do programa eu quero olhar e por fim responder essa pergunta do Como avaliar

e aqui pessoal isso é muito importante porque muitas vezes gestores vêm falar para mim eu quero fazer uma avaliação de impacto com controle aleatório falei mas por que você quer fazer isso ah porque é uma avaliação importante eu quero ver Impacto pera aí mas para que você quer vero Então a gente vai tentando inverter ali e muitas vezes a gente descobre eu acho que mais de 80% das vezes que na verdade aquela avaliação de impacto com aquela metodologia que a pessoa traz Que el sugere não que fosse ruim vai responder questões importantes mas a necessidade

informacional dela que a gente descobriu perguntando para que você quer avaliar ela pode ter outros caminhos outras estratégias avaliativas outros modelos avaliativos outras abordagens avaliativas que seriam mais coerentes e trariam insumos subsídios informacionais muito mais ricos que que tornariam essa avaliação muito mais útil pro aprimoramento do programa pro dia a dia do gestor então o método o como se eu vou usar que é uma abordagem mais quantitativa vou pegar uma base de dados Vou extrair aqui que ela me responde ela essa é a definição ela tem que ser posterior à decisão do para que avaliar

e ao que avaliar vocês viram que é o slide que tem menos texto e é o slide que eu tô gastando mais tempo falando com vocês justamente porque é o recado mais importante eu acho que eu tenho para trazer aqui hoje pode passar próximo que é justamente pensar o propósito da sua avaliação Para que que eu quero avaliar o o objeto da sua avaliação onde eu vou colocar o meu olhar e depois o Como avaliar pensando não apenas em método metodologia mas abordagens avaliativas a gente vai falar um pouquinho disso porque a gente tem muitos

caminhos para se construir essa abordagem de avaliação próximo por favor e aqui a num slide trabalhando em tipologias de avaliação bom falando com pessoal da educação que que a gente sempre trabalha com tipologias taxonomia assim é muito é muito mais fácil né porque a gente a gente entende que a gente tem várias formas de classificar né dependendo do critério olha critério é um tema muito importante paraa avaliação né que eu vou usar eu posso ter diferentes critérios por exemplo a pessoa fala ah é avaliação de processo ou resultado muito comum a gente falar isso porque

eu tô utilizando aqui como critério para essa tipologia o objeto Mas eu posso pensar no propósito também de uma forma um pouco mais específica do que o propósito que eu trabalhei anteriormente mas pensar Olha formativa somativa eu o momento em que eu vou avaliar são várias tipologias e aqui já adiantando o recado que eu trago nos slides seguintes não Vamos enxergar todas essas tipologias de forma dicotômica eu posso ter uma avaliação de processo que tenha caráter formativo que use a teoria do programa que seja expost que seja interna ou externa que use metodologia quantitativa ou

qualitativa então não Vamos enxergar esses critérios de forma tipológica eh de forma dicotômica porque muitas vezes os alunos quando a gente trabalha eles pergunta Ah mas eu vou fazer uma avaliação de resultados pera aí você vai fazer uma resultados Mas formativa como que você vai conseguir fazer isso não não não são incoerentes não não não Vamos enxergar uma dicotomia entre essas várias abordagens inclusive dentro de uma mesma tipologia a gente pode olhar eventualmente para critérios e olhar para resultados também então vamos avançar um pouco nessa em alguma dessas tipologias Por exemplo quando pode ser feita

a avaliação às vezes etapa de formulação é muito importante tem aquele clássico ditado né trocar o o pneu com o carro andando muitas vezes isso acontece com programas a gente vocês lembram do ciclo de políticas públicas né todo mundo pensa lá formulação implementação monitoramento avaliação retroalimentação aquela pia clássica Aquilo é lenda né a gente pode chamar de perspectiva hística que ajuda raciocínio mas no fundo no fundo é uma lenda a gente sabe que no nosso dia a dia Muitas vezes a gente tá implementando a política que a gente nem terminou de formular isso é muito

comum e aí e avaliação como entra Air é uma etapa se a gente enxergar a avaliação como uma etapa da política pública Aí complica demais porque se é uma etapa vai acontecer uma hora ou outra de forma automática Não não é a gente não pode enxergar é uma atividade é uma função muito importante que a gente tem que trabalhar e batalhar pra gente conseguir fazer eh então a gente pode pensar avaliação antes e esse a gente chama de uma avaliação exante porque vai nos ajudar a pensar Qual que é o nosso problema quais são os

insumos importantes os processos importantes que a gente precisa encadear para conseguir fazer a mudança que a gente esperava fazer com aquele programa Então olha então eu tenho determinado problema vou construir um programa de determinada forma por de determinada forma tentando atingir determinado resultado mas também é importante avaliar durante a implementação do PR programa e ao término também e aí que que vai determinar quando qual que é o time melhor time para avaliação lembra da minha primeira pergunta para que que eu quero avaliar Que tipo de informação que eu quero poxa se eu quero uma avaliação

que ela me ajude no processo de implementação de execução faz com que a implementação do meu programa seja algo melhor hoje do que era 6 meses 1 ano atrás Poxa eu não preciso esperar lá na frente para ter resultados mensuráveis questão é é que às vezes eu tenho determinadas questões avaliativas e as questões avaliativas vão depender do meu propósito que em algum momento do programa não é possível responder porque às vezes eu tenho impactos que demoram 1 2 3 4 anos para serele observáveis então às vezes eu não consigo fazer uma avaliação de impacto não

consigo fazer uma avaliação de resultado mas eu consigo fazer uma avaliação sobre os processos uma avaliação de caráter mais formativo por exemplo como as que a gente vai observar agora no próximo slide exemplo avaliação formativa bom falar de avaliação formativa somativa pro público da educação é chovendo molhado né então vou passar mais um slide e mais um só para falar aqui que não é absoluto eu posso ter avaliações que ten um caráter ao mesmo tempo formativos e somativas a questão é que ao longo da vida do programa eu vou ter mais condições de olhar paraa

avaliação de caráter Mais somativo enquanto no começo Talvez uma presisa formativa Me traga ou eu eu consiga fazer num avaliação trazer mais insumos mais subsídios para discutir a avaliação e trazer mais subsídios pro gestor pro tomador de decisão próxima então pessoal aqui aval de dentro de Fora interno externo cada um tem a sua vantagem os slides vão est aí com vocês a gente pode discutir próximo slide eu quero trabalhar aqui a questão de várias metodologias não existe metodologia melhor ou pior tudo vai do contexto então eu tenho que adequar aquela abordagem metodológica à minha questão

avaliativa ao meu propósito de da avaliação na verdade é é uma inversão né então para que que eu quero avaliar fazer minhas questões avaliativas e aí pensar no método na abordagem e abordagem que eu vou chegar aqui para trabalhar três abordagens avaliativas interessantes com você antes de terminar minha fala próxima aqui é várias abordagens e eu vou passar pra próxima também aqui vou falar com vocês de três tipos de avaliação duas que a gente faz constantemente na enap que são muito interessantes e uma que a gente faz juntamente com com o semap o conselho de

monitoramento e avaliação de políticas públicas próximo a enap pensando no contexto da enap instituição de Formação a gente instituição focada em constução do conhecimento para mamento da gestão pública a gente enxerga duas abordagens como muito interessantes para trabalhar a avaliação uma avaliação baseada na teoria do programa e eu não vou gastar muito tempo aqui porque a gente tem um painel para falar sobre isso a gente tem eu acho que nas oficinas né a gente tem oficinas para trabalhar modelo lógico então vocês vão ver um pouco sobre isso e avaliações colaborativas Esse é um foco muito

grande no enap e também no contexto do semap a gente tem avaliação executiva uma forma interessante de fazer avaliação e nos dois nos dois casos tanto da enap quanto no conselho próximo slide a gente pensa nos propósitos no caso de enap no propósito da enap como instituição que é gerar conhecimento para aprimoramento então a gente sempre pensa na avaliação como a forma de responder um questionamento por exemplo mesmo pensando Impacto F ass o programa não funcionou o programa não funcionou geralmente ele pode não funcionar por dois motivos o motivo que é mais pensado pera aí

é que a hipótese que eu tinha na minha teoria é uma hipótese falha se a então b não é Poxa vamos pegar aqui eu acho muito delicado a gente usar exemplos concretos no caso educa a né para não oferecer suscetibilidades Mas vamos pegar um caso vamos eh fazer um incentivo ao transporte público para diminuir a emissão de gases de efeito estufa na cidade Então olha vamos vamos testar essa hipótese por exemplo se eu perceber que não tá funcionando essa hipótese pode ser dois motivos ou hipótese de fato era falha mas em muito dos casos e

na maioria dos casos a gente não se pergunta pera aí mas será que o programa de fato foi implementado como ele deveria então quando a gente pensa em avaliação baseada na teoria do programa que a gente pensa desde os insumos processos produtos resultados impactos vamos olhar para tudo isso para ver se de fato o programa foi implementado porque às vezes ele não gera o resultado Porque eu tive problema na implementação então às vezes o o recurso não chegou na hora certa eu tive problemas de governança não consegui trabalhar com os com os atores relevantes Então

isso é um é um problema muito comum então a gente nem consegue na verdade chegar no teste da hipótese de fato como ela deveria ser próximo próximo próximo próximo isso aqui é próximo e o avaliações colaborativas que é uma abordagem muito interessante para avaliação e pensando em avaliações com foco em aprimorar Gestão na nossa perspectiva é das mais ficas e vocês podem encontrá-los com diversos nomes avaliação participativa stak Hold evaluation avaliação Para empoderamento próximo slide e Quais as vantagens de se trabalhar uma avaliação colaborativa e aqui mas antes de pensar nas vantagens a aviação colaborativa

não é apenas ouvir o que diversas pessoas têm a dizer porque eu posso ter uma avaliação com desenho clássico Tradicional em que eu entreviste pessoas que eu coloco pessoas no grupo de de de de focal que eu coloque um server para as pessoas responder mas Simpe vai ser uma avaliação clássica Mas que que as pessoas participaram Mas de fato eu poderia me perguntar elas participaram da avaliação Ou foram apenas mais um objeto dessa avaliação quando eu falo trago abordagem colaborativa é que eu quero colocar essas pessoas como sujeitos da avaliação em que elas vão ajudar

a construir as questões avaliativas ajudar a pensar para que que eu quero avaliação e não apenas me D informações que eu preciso não apenas ser um instrumento para coleta de dados então Quais as vantagens para pensar abordagens colaborativas que primeiro eu consigo designs de avaliação mais robustos trazer pessoas diferentes perspectivas saberes diversos conhecimentos ajuda na análise dos dados também se as pessoas participam de todo o processo avaliativo eu posso esperar que as pessoas os participantes eles vão ganhar durante o processo avaliativo um maior uma maior compreensão sobre o seu programa sobre os elementos do programa

até porque se a pessoa participa construiu durante se meses 1 ano toda uma avaliação ela vai sentir que aquilo também é parte dela eu não fui apenas mais uma pessoa que simplesmente deu informação para aquilo mas eu fui parte dessa avaliação eu construi essa avaliação então a gente observa que existe muito uma maior chance uma maior probabilidade de utilização dos resultados dessa aviação quem aqui nunca ouu falar poxa a gente teve uma avaliação super legal Mas ficou lá na estante é uma avaliação que tem uma capa bonita é um livro bonito mas pouco foi utilizada

seus achados então quando a gente observa a gente faz uma aviação colaborativa a gente observa que a equipe do programa demanda do gestor demanda do toma decisão E aí que que aconteceu que que não foi feito e mesmo que o gestor não tome nada essas equipes no dia a dia delas elas vão participar elas vão incorporar alguns desses achados porque elas também aprenderam na prática fazendo isso eh e por fim avaliações colaborativas são compatíveis com diversas outras abordagens de muito interessantes a própria teoria do programa ela é Ela é compatível é compatível com abordagens baseadas

em Equidade e diversidade por exemplo equity Fox evaluation avaliação baseada em gênero avaliação feminista a gente tem várias outras formas de avaliar e aqui é importante pensar nisso Porque será que essa abordagem colaborativa é interessante pro meu propósito avaliativo certamente ela vai ser mas ela pode e deve ser utilizada e construída em conjunto com outras formas por fim mais uma mais um slide e aqui a avaliação executiva do semap eh a avaliação executiva do semap ela é muito interessante porque é uma avaliação mais horizontal ela não vai muito fundo isso é bom isso é ruim

palavra novamente É depende que depende do Propósito porque o semap ela ele tem um objetivo muito claro com essa avaliação executiva a avaliação executiva vai dar um Panorama geral da política com perguntas Chaves sobre diversos aspectos a gente vai olhar o diagnóstico o desenho A gestão e governança os processos resultados fazer uma análise Econômica indicador fí eficiência mas ela não vai aprofundar muito nisso mas por que que é importante a gente fazer isso porque o sebap ele quer olhar pro apro da política e ele vai uma próximo slide ele vai utilizar essa avaliação executiva como

uma porta de entrada para outras avaliações então com base nesse Panorama geral da política ele vai saber Olha eu preciso fazer um mergulho mais profundo na governança dessa política eu preciso fazer o mergulho mais profundo é No Impacto dessa política então ela vai me apontar caminhos interessantes para conseguir responder gente porque o progr prama uma política pública mais ainda é universo gigantesco quase infinito então é difícil a gente pensar em avaliações que consigam olhar para todos todas as dimensões né então se de fato a gente faz isso a gente faz de forma mais um pouco

mais Rasa mas não sem método não sem técnica e depois escolhe para onde olhar e essa é a perspectiva do semap com avaliações executivas então ele tem esse papel Então a partir daí ele vai conseguir depois delimitar um novo objeto de avaliação concentrando-se naquele o que avaliar né então ele vou olhar para Impacto eu vou olhar para custo benefício não vou olhar pro desenho próxima e por fim mas não menos importantes e aqui eu vou passar muito rápido porque meu tempo já se esgotou se a gente define propósito da avaliação pensa no objeto e pensa

na metodolog e abordagens é importante que a gente sempre pense que a avaliação ela vai ser feit com base em determinadas ideias do que é bom e do que é ruim Que ruim é ruim bom é bom mas quem vai definir o que é bom e ruim é o avaliador segundo uma frase do escriven mas é mais importante ainda é que o que é bom e o que é ruim o que funciona o que não funciona esteja Claro para todo mundo que haja transparência na avaliação e isso é feito com base em qu que isso

é feito com base nos critérios que eu escolhi que eu utilizei para dizer se algo é bom ou é ruim quando eu falo é bom ou é ruim pessoal vamos entender funcionou não funcionou é efetivo não é efetivo é eficaz é eficiente ou não é então próximo slide que e os critérios Eles são muito cacados em valores eu não não vou entrar muito nessa questão apesar de ser extremamente importante pela falta de tempo que eu confio também que a professora Rosana talvez faça senão mas os valores é importante pensar e lembrar que eles vão aparecer

em cada etapa do processo de avaliação então desde o momento que eu vou definir o propósito da minha avaliação até determinar quem vai est envolvido nessa avaliação e até na escolha dos métodos por exemplo se eu escolho Fazer uma avaliação apenas dos impactos que não olhe pra teoria do programa que queira ver apenas a eficiência se o o os gastos for foram bem aplicados recursos foram bem aplicados para ver custo de efetividade sem envolver participantes sem envolver stakeholders isso já me tá apontando alguns valores paraas escolhas do avaliador ou para as escolhas de quem tá

comissionando aquela avaliação se eu observo se eu coloco a minha lente na Equidade buscando observar em que aquele programa contribuiu ou não paraa igualdade de oportun unidades educacionais em uma determinada comunidade envolvendo os participantes envolvendo stakeholders eu tô com outra lente isso já me mostra outros valores e por fim só pra gente passar aqui vários critérios Vários valores ali eu questiono a questão da neutralidade do avaliador de fato não não há neutralidade a gente isso é algo superado já mas o importante é que avaliação e o avaliador já estabeleçam já deixem já deixem bem grande

escritos ali naquela avaliação Quais são esses valores né Quais são esses critérios justamente pra gente conseguir questionar conseguir entender e trabalhar aquilo e aqui vários eu posso ter vários critérios que aqui novamente eu posso pensar em modelos de avaliação a partir de vários domínios de critérios avaliativos né de alinhamento Design da relevância Daquele programa uso de recursos próximo slide a efetividade do programa A sustentabilidade do programa A Equidade proporcionada então eu posso ter várias lentes vários horários e elas podem obviamente ser combinadas então é isso o próximo slide só para vocês terem o meu contato

e deixar aqui Meu obrigado e o recado aqui qual é o melhor modelo de avaliação Depende tudo depende meu propósito é isso o recado tá dado pelo jeito muito [Aplausos] obrigado Rafael muito muito obrigada por essa aula eh Eu sei que vocês têm muitas perguntas e vocês se identificaram com muitas das coisas que o professor Rafael falou eu vou pedir que a gente faça deixe as rodadas de pergunta para o final após a fala da professora Rosana eh eu quero passar a palavra imediatamente a professora Rosana que é professora do departamento de gestão de políticas

públicas da UnB e do programa em monitoramento e avaliação da enap ela também é vice-presidente da associação Internacional de Políticas Públicas a renomada Ipa Editora geral da revista inglesa Critical policy studies e líder do grupo de pesquisa mirada ao revés Eu Preciso Dizer pessoal para quem não conhece a professora Rosana que ela é uma das pesquisadoras mais brilhantes que esse país possui na área de análise e avaliação de políticas públicas eh a professora Rosana ela leva o nosso nome o nome do Brasil a todos os cantos deste mundo colocando a pesquisa brasileira na área de

administração pública no mais alto patamar no cenário Internacional e a gente tem que valorizar isso porque nossos pesquisadores fazem pesquisa a gente sabe em que condições ela é tudo isso mesmo a professora Rosana vai nos presentear com uma apresentação bastante reflexiva sobre um campo que ela defende como uma guerreira que é a avaliação axiológica secretária Cátia falou assim Às vezes a gente não tem medidas né métricas para capturar coisas que a gente gostaria de de de capturar Às vezes a gente não sabe nem Qual é o o o modo de fazer isso o modelo a

professora Rosana Tá nadando de braçada quase sozinha tentando dizer e tem como fazer a gente pode fazer a gente tem que ser melhor e a gente tem que dar conta de fazer isso de encontrar essas coisas essa subjetiv dades que a gente não consegue capturar com os modelos chamados gerencialistas ou como queiram chamar positivistas então eu agradeço muito a sua presença professora Rosana e te passo a palavra peço uma salva de palmas para professora por favor Bom dia quanto tempo eu quanto tempo me restou aí 15 minutos eu vou levantar pessoal eu vou levantar e

eu vou pedir um favor a vocês Eu vou antes de mais nada eu queria agradecer a Janaína minha amiga querida todo esse trabalho de organização a secretária professora ktia que foi um prazer imenso ouvi-la não é eu fiquei muito emocionada porque quando ela puxou o hino eu me lembrei de que nós mulheres latino-americanas nós mulheres brasileiras nós mulheres do interior do Brasil a gente canta muito né quem canta os males espantas espanta a gente canta para eh diminuir nossos males a gente canta nós mulheres a gente canta e às vezes a gente borda e a

gente faz outras coisas como forma de enfrentamento das opressões então cantar conjuntamente é algo que está profundamente ligado Às nossas raízes as lavadeiras cantavam juntas as mulheres escravizadas cantavam juntas e muita música nasceu disso mas nasceu também muita força disso então muito obrigada professora Cátia eu agradeço demais obrigada também a todo mundo que vem antes de mim não é professora Márcia Professor Rafael também e eu queria começar pedindo um favor a vocês vocês podem se levantar e se olhar vamos fazer isso vamos vamos olhar um pros outros se olhem aí ol aí vocês não é

tá vendo se olhem se abracem não é deixa eu abraçar também minha amiga kijana vou abraçar também Rafael se sintam abraçados por mim e agora vamos sentar vamos Podemos sentar vamos depois eu quero abraçar também a você podemos Vamos sentar respirando sabe o que que vocês viram sabe o que que nós somos aqui nesse momento nós somos uma comunidade de avaliadores ninguém avalia sozinho ninguém nem quando a gente acha que tá sentado na nossa cadeira lá no nosso escritório a gente tá avaliando sozinho a gente leu alguém a gente conversou com alguém então entender que

a avaliação é um processo coletivo é super importante e nós somos aqui uma comunidade de avaliadores e de avaliadoras sobretudo né avaliadoras que podem cantar juntos juntas eh e é um pouco sobre esse cantar que eu queria falar porque nós somos uma comunidade de avaliadores e avaliadoras aqui e eu disse que ninguém avalia sozinho acho que todo mundo concorda né mas tem uma outra coisa pra gente transformar essa avaliação coletiva em uma avaliação pública ou seja para a gente atribuir um status de público ao que a gente tá fazendo não basta só a gente avaliar

com os nossos pares a avaliação ela só tem sentido quando ela chega e reverbera em uma arena pública só quando ela chega e reverbera em uma comunidade Então a gente tem a avaliação solária sempre falsa a gente tem a avaliação coletiva muito bom mas a gente tem avaliação pública e avaliação pública só quando chega onde Natal da arena que é uma arena política porque a avaliação é uma atividade política a avaliação não é uma atividade político-partidária mas avaliação é uma atividade política porque ela é feita de escolhas mas não é só por isso não é

porque ela carrega consigo um projeto de sociedade e a gente precisa olhar para isso qualquer avaliação carrega consigo um projeto de sociedade e é por isso que a gente precisa fazer o quê jogá-la na roda na arena pública discuti-la apresentar ouvir as discordâncias entender que o que a gente faz pessoal nada mais é do que apresentar aqueles resultados da avaliação eu nem gosto desse nome sabe como é que eu chamo um argumento avaliativo o que a gente faz é apresentar um argumento avaliativo que não é um argumento qualquer porque ele tem uma natureza de avaliação

porque ele foi construído com método porque ele foi transparente em explicitar o seu método mas ele é só um argumento e na arena ele tem que se deparar com isso ele tem que se deparar com essa pequenez dele e com essa grandiosidade dele também não é mas tem outros argumentos na arena também tem um argumento daquele estudante que não vai pra aula e vai explicar o motivo tem outros argumentos também de mães e de pais que não conseguem lidar com os problemas tem muitos outros argumentos nessa Arena então só quando a gente lida com o

que a gente pode chamar de uma arena discursiva que a gente pega a nossa avaliação e joga lá e a gente ouve e a gente escuta e a gente reconhece e a gente aprende a gente ensina é que a gente pode dizer que a gente tá construindo uma avaliação pública que o que a gente fez tem uma implicação pública porque por trás de cada avaliação eu disse que tinha um projeto de sociedade né Isso quer dizer o qu então que a avaliação é uma atividade política e democratizadora ela tem que ser democratizadora ela se realiza

numa arena que é democrática e ela tá empurrando essa Arena Para onde Para ser mais democrática ainda então quando a gente faz uma avaliação que a gente diz eu tenho o poder a minha avaliação né eu tenho a verdade olha os resultados avaliativos a gente não tá reconhecendo a parcialidade do nosso argumento e é muito importante que a gente reconheça porque quando a gente faz avaliação a gente tem que assumir essa dimensão implicada do fazer pesquisa avaliativa não é aplicada Não é implicada porque eu tô no processo eu tô aqui ó com posicionalidade epistêmica eu

tô aqui com os meus valores e aí vamos falar da importância dos valores eh na avaliação eu tô em pé também porque eu tava morrendo de vontade de ouvir e ver todos vocês e assim eu consigo ver mais longe lá todo mundo que tá lá no no final também viu peço desculpas para quem acha que é um pouquinho demais mas eu sou muito animada porque eu venho da Bahia e aí lá a gente é animado mesmo e e quando dizem né baianas quando dizem assim que avaliar eh julgar o mérito o valor de de uma

entidade Eu já penso na entidade e não nos valores e nos métodos Mas é uma piada local aqui da Bahia mas olh eh Por que que valores é importante primeiro porque é todo objeto de avaliação é carregado de valores não é o programa pede meia não é carregado de valores qualquer programa de alfabet ação não é carregado de valores e de valores políticos porque a gente tá falando o quê é um programa para manter as coisas como estão ou é um programa para transformar a realidade é para transformar a realidade né então se é para

transformar a realidade tá carregado de valores outra coisa todos esses métodos disponíveis aí né a gente tem um leque a gente pega os métodos abre né aí pega o método tal pega o método tal pega cada um deles é carregado de valores cada um por trás de um deles há um pensamento sobre o que é o estado sobre Qual a relação entre o estado e a sociedade a qual é o papel da sociedade quem é o avaliador quem é avaliadora todos eles também carregam consigo valores são construídos sobre valores até a própria ideia de evidência

a gente sempre pergunta evidência para quem não é porque o que é evidente para mim não pode ser Evidente para você não é isso e isso é muito forte em avaliação e numa diversidade imensa do país então quando a gente fala de método os métodos TM valores também então ó se o objeto tem valor se os métodos têm valor se eu tenho meus valores se quem tá trabalhando comigo tem os seus valores por que que eu vou dizer que a avaliação é livre de valor avaliação é puro valor só que não é porque é puro

valor que é livro de método aí não então como é que a gente faz para avaliar compreendendo isso aí a gente como a gente para avaliar a gente vai ter que compreender isso E aí o resultado da nossa avaliação vai ter que ser apresentado lá no Arena para que ela vire uma avaliação pública como eu falei há pouco então isso significa que eu tenho que explicitar os meus valores Então o que eu recomendo a vocês o que eu venho fazendo também é em um processo avaliativo explicitar Quais são os valores que estão conduzindo que estão

guiando essa avaliação não é esses valores não são necessariamente os valores do objeto avaliado são os valores da equipe de avaliação de como a equipe de avaliação olha para aquele objeto e aí eu penso Mas então essa equipe de de avaliação tem que ser bem grandinha né É isso Quanto maior melhor quanto mais envolver a sociedade melhor quanto mais envolver a sociedade mais pública no sentido mais bonito do termo ela vai ser E aí sim ela vai se constituir como um objeto eh com toda a sua natureza política como avaliação tem que ser eu não

sei como é que eu tô com o meu horário e ela tá ali me mostrando diga aí 5 minutos que que a gente faz em 5 minutos a gente hã bom em 5 minutos a gente pode falar o seguinte ó vamos lá então eu preciso saber avaliar essa é uma pergunta muito lícita que vocês podem fazer né Eu preciso saber avaliar bom eu diria comecem aprendendo a ler avaliações Leiam avaliações Peg avaliações relatórios de avaliações processos avaliativos participe e Leiam tem uma coisa pessoal que é essencial no mundo da avaliação que é vocabulário então Leiam

peguem e Leiam mas não Leiam assim br br br br não Leiam com olhos de literatura ou seja o que que esse esses autores quiseram dizer né Por que que essa avaliação foi conduzida dessa forma Quais são os valores que estavam por trás dessa avaliação E se eu tivesse feito essa avaliação eu teria feito diferente Provavelmente sim não é então Leiam criticamente as avaliações Esse é o meu primeiro conselho para vocês peguem avaliações baixem no mec baixem no MDS tem muita avaliação disponível Leiam olhem vejam como avaliações feitas nas universidades ou Pelas universidades são diferentes

das feitas por gestores e assim por diante olhem avaliação tentem entender Qual é a relação ali entre o propósito da avaliação o método que foi escolhido e os resultados Ou melhor o argumento e se perguntem esse argumento foi colocado na arena público ou não provavelmente não e não é à toa não é à toa e a gente tem no Brasil aquele famoso complexo de vira lata né então a gente acha que a gente nunca valia bem que a gente não é bom gestor que a gente não sabe fazer as coisas que a gente não tem

tempo e o que eu tô vendo daqui é um monte de guerreiras e guerreiros não porque alguém aqui trabalha pouco alguém aqui não pensa no trabalho final de semana alguém aqui não tá num grupo de zap do trabalho não vários né vários então isso quer dizer o quê que nós temos também que nos acolher não é temos que nos acolher e do ponto de vista da avaliação da formação e avaliação também provavelmente Se cada um cada uma aqui fizer uma reflexão já passou por um processo avaliativo já colaborou já leu então peguem essa semente e

ampliem e não fiquem se sentindo mal porque não conhecem 10 métodos 20 métodos 31 métodos não não pensem sempre o que é que eu quero com meu processo avaliativo e sobretudo tudo como é que a avaliação pode ajudar no meu trabalho e eu digo para vocês pode muito muito desde que faça sentido desde que vocês não se acomodem em fazer uma avaliação que vai ser engavetada como muitas outras avaliação podia ser substituído pelo nome aprendizagem aprendizagem pública aprendizagem coletiva faria mais sentido para todos nós não é eu preciso terminar aqui porque eu já tô vendo

o fim mas meu conselho Inicial é esse aumentem o repertório comecem a olhar troquem entre vocês transformem isso daqui em uma comunidade concreta de avaliadores concreta de avaliadoras e vocês podem fazer isso Vocês ainda vão passar alguns dias aqui não é então nestes dias se encontrem Conversem troquem formem esse vocabulário comum isso é extremamente importante eu desejo para vocês um ótimo evento já acabei aqui muito obrigada pela atenção ah eu falei né que ela ia nos presentear eu eu avisei pessoal eh tantas falas importantes eu acho que a gente vou vou não vou fazer esse

esforço de tentar resumir aqui coisas tão magníficas eh mas acho que a gente tem que pensar realmente a avaliação como um processo de aprendizagem se não for pra gente aprender alguma coisa e melhorar As Nossas ações não faz o menor sentido e acho que na fala tanto do Rafael quanto da professora Rosana é a avaliação é um processo democrático e é um processo de fortalecimento da Democracia quando a gente vai paraa Arena pública a gente tá sim acreditando na força da democracia e avaliação tem tudo a ver com isso eu vou eu vou não vou

me estender eu gostaria de dar um tempo para que vocês fizessem algumas perguntas Então as meninas estão passando com o microfon quem quiser fazer uma pergunta por favor levante a mão eu vou por conta do horário e eu sei que a gente quer almoçar mas a gente também não quer perder a oportunidade que nos trouxe até aqui eh vamos vamos eh aproveitar ao máximo esse momento eu penso que a gente pode fazer três perguntas e aí eu peço que as pessoas não se estendam muito e a gente faz blocos de respostas tá bom Por favor

quem vai começar a professora rilma Oi professora rilma vem aqui na frente tá muito discreta e não tá nem combinando com a sua pessoa venha [Música] obrigada bom dia a todos e todas e todes mas na verdade assim foram muito interessantes todos os diálogos reflexões as referências teóricas as os fazeres né da avaliação Mas uma coisa ficou me pegando aqui que é o controle E aí se vocês pudessem discutir um pouco a questão do controle na hora que a gente faz a avaliação E aí eu me reporto muito a avaliação da aprendizagem saeb o compromisso

nacional que a gente tem o eixo de avaliação e a gente também fez uma avaliação recente não é na plataforma de avaliação porque ali que demonstra realmente para que caminho tá indo na educação pública Entretanto a gente a gente tem um gargalo que é o controle no ato da avaliação eu não sei exatamente quando que esses alunos e aí eu vou ficar al bem genérico mesmo Enade Enem agora eu ampliei da avaliação da Educação Básica mais geral é o controle ali na educação no no eixo de avaliação a gente não tem esse controle e aí

já aproveitando a fase dos pedidos eu vi que a secretária de Cascavel representante da onim fez os pedidos a gente precisa de um financiamento de um pdda avaliativo porque as secretarias e escolas sozinho elas não estão conseguindo dar conta de ter um instrumento de avaliação de excelente qualidade e a gente precisa formar também os nossos professores nessas avaliações que nós chamamos de externa então se você pudesse falar o colega aqui ou os outros que já se pronunciaram sobre o controle da avaliação Para que a gente ter os dados com maiores precisões aí de fato a

gente teria um retrato imagem mais próxima do que a educação básica no país muito obrigada obrigada também professora rilma eu vou pedir pra gente fazer logo mais umas duas perguntas e aí a gente concentra num bloco por favor quem é o próximo Oi bom dia meu nome é Thaísa sou da Secretaria de Educação do Rio Grande do Sul eh minha dúvida é mais técnica eu vi em alguns momentos na apresentação falar sobre avaliação de processo e eu queria entender como é a diferença disso para um monitoramento mais uma por favor pessoal [Música] Agora sim na

verdade é o quê mas dá para ouvir dá para ouvir dá dá para ouvir pronto dá não bom verdade do que outra outra eu sou danho de [Música] Alagoas elaboração da secretaria Alagoas mas aí na verdade eu vivo sempre conversando com a professora sobre a necessidade que as nossas secretarias estaduais têm de ter vamos dizer assim o locos um local específico de avaliação das políticas públicas até ano passado eu estava como secretário executivo e eu dialogava muito com a nossa equipe e inclusive percebia nes um uma certa ingenuidade eu posso dizer assim porque todos ficavam

meio que que achando né que tratava-se de avaliação da aprendizagem ou das avaliações de larga escala e eu falava da avaliação do impacto das nossas políticas públicas a gente sempre tinha e demanda muitos recursos financeiros técnicos e humanos para produzir muita política pública nos Estados também mas ao mesmo tempo eu sinto muita falta de da existência esse loccos mesmo dessa avaliação ao qual vocês se proporam E aí a minha sugestão é que se a gente pudesse partir para os próximos anos de uma política de estado de principalmente de apoio técnico do MEC à secretarias Estaduais

de educação em regime de colaboração também secretária Cátia com os municípios para que a gente essa semente da avaliação do impacto da política pública vá para os Estados eu sei que é heterogêna essa realidade eu sei que estados alguns estados já possuem eh mais amadurecimento nesse processo e outros estados não tinham ainda então eu acho que é pelo regime de colaboração unificar esses processos com o apoio técnico do MEC da gente ter vamos sei lá né uma rede de monitoramento da avaliação das políticas de Educação Básica a sugestão muito obrigada Daniel eh uma última Então

pessoal pra gente fechar quatro e aí a gente encerra essa mesa mais alguém por favor não então estamos bem assim eu vou passar paraa professora Rosana primeiro acho que o Daniel esclareceu um pouco da dúvida da rilma mas eu vou passar pra professora Rosana para que ela também faça a sua a sua fala a gente sempre contextualize no nosso e isso é interessante porque dados e que podem nos ajudar a nos entender inclusive territorialmente não é porque a dimensão territorial na educação ela ainda precisa ser explorada ela ainda é muito ela ainda é pouco explorada

a gente precisa entender né então eu acho que que esses índices e indicadores todos aí muito eh que podem parecer muito genéricos que podem parecer muito globais eles podem sim nos ajudar a pensar políticas públicas porque eles fazem parte também de um projeto de país né tem um projeto de país por trás do enad né então quando a gente discute Quais são os valores do enad aí a gente vai entender como é que aquilo ali aqueles valores dialogam com os valores da nossa realidade com os nossos valores territoriais e assim por diante sobre a dimensão

do do controle é interessante né porque assim o controle eh já nos dá uma sensação de imitação né E isso tem sido cada vez eh maior né e cada vez pior não dá para dizer assim não vamos esquecer o controle quando a gente ter os órgãos de controle também n nossas né nas nossas costas nos nossos pés né Porque infelizmente os órgãos de controle tem uma compreensão de avaliação como controle de avaliação de modo punitivo Então o que a gente precisa fazer pessoal é entrar na disputa política desses desses espaços não dá pra gente ficar

se queixando sem a gente levar isso pros órgãos de controle né a gente precisa começar a disputar esses espaços porque a gente tá perdendo nessa disputa aí enquanto a gente não vai para lá a gente tá perdendo e aí a gente tá desenhando instrumentos de políticas públicas de acordo com o que a gente acha que depois vai lá o TCU vai cobrar da gente então vejam os órgãos de Cont a influenciar o desenho das políticas públicas Isso é uma loucura mas não é que é uma loucura pequena não isso é uma loucura grande porque isso

faz parte de um delírio do controle de um Delírio que a gente muitas vezes caminha dizendo que Obrigada que a gente caminha dizendo que só tem um tipo de ciência e não tem só um tipo de ciência Tem vários tipos de c não é tem vários e eu por isso que eu preciso dizer onde é que eu tô com meus pés epistemologicamente né então se pros órgãos de controle valor e fato são duas coisas separadas para mim não então vamos lá debater então quando eu vou mentee nesses espaços eu vou lá disputar quando eu vou

apresentar um artigo quando eu vou escrever eu vou lá disputar na revista que que Márcia que a professora Márcia jop falou a gente publicou um artigo chamado o antimanual da avaliação porque não dá para a gente manualização né mas eh Professor Rafael sabe não a a gente não escolhe as coisas Porque o método a gente escolhe o método de acordo com os nossos valores com os valores avaliativos e não Ah então o objeto é esse vamos lá o método Vamos pegar vamos nesse aqui não porque há métodos que podem me pagar milhões eu não vou

fazer nunca porque não são métodos que tem uma aproximação valorativa então professora querida Vamos disputar esses espaços porque avaliação não é controle e nem controle é avaliação a gente precisa entrar nessa briga e é uma briga que infelizmente a gente tá perdendo obrigada bom monitoramento e avaliação Não é a primeira vez que escuto essa pergunta aliás eu mesmo lá atrás já me fiz essa pergunta quando tava começando a estudar monitoramento e avaliação de políticas públicas bom tem uma forma muito clássica de responder o que você disse é enxergar avaliação como algo que acontece esporadicamente em

determinado momento então eu vou olhar o processo vai ser o meu objeto né vai ser a onde eu vou me focar dentro daquele problema vamos olhar pro processo dele e quando eu falo processo tô enxergando da forma muito Ampla né eu olhar pros insumos que que eu u Izo para implementar aquele programa sumos pode ser diversas categorias financeiro pessoal tempo olhar pros pras atividades que são realizadas dentro de um contexto de um programa é olhar de formas Gerais paraa implementação desse programa Então vamos nos perguntar que que eu quero saber em relação a isso e

naquele contexto naquele momento construir uma avaliação querendo responder alguma pergunta de forma específica ual o monitoramento já é uma atividade que eu faço com Constância então previamente eu pensei no conjunto de indicadores esses indicadores que vão me mostrar como anda determinada dimensão ou determinadas variáveis relacionadas a um projeto ou a um programa a uma política por exemplo o montante de recursos investidos por exemplo Quanto quanto por cento do PIB eu tenho investido em educação tá crescendo não tá crescendo eh o monitoramento ele pode focar nos insumos pode focar em processo mas ele pode focar nos

resultados também quantas crianças estão dentro quantas crianças estão fora da escola Qual é a taxa eh de por exemplo a taxa de reprovação do determinado escola num determinado território eh quanto que esse programa Conseguiu diminuir ou aumentar a frequência por exemplo a gente tá falando aqui no pé de meil ele quer aumentar a frequência quanto por cento ele aumentou no ano X para ano y a taxa de de analfabetismo da população adulta por exemplo Então são indicadores que poderiam me mostrar um resultado de uma política poderia mostrar Impacto então quando eu falo em monitoramento eu

posso olhar tanto lá atrás lá no começo pros processos paraos insumos Mas eu também posso ol para resultados mas a principal ideia é uma Constância e Geralmente eu vou pensar isso de forma prévia Eu Vou estabelecer esse conjunto de indicadores na avaliação eu posso olhar e vou olhar muitas vezes para indicadores mas na avaliação de processos eu vou fazer isso com uma riqueza maior vou entender por por exemplo aquele indicador que me que no monitoramento eu eu percebi que ele não tá agindo conforme a meta conforme o esperado que que tá acontecendo por que que

é assim por que que é assado então eu vou ter uma profundidade maior de reflexão rela quer é uma forma clássica de responder E aí deixar uma provocação para vocês certa vez quando eu comentei com com professor muito querido que é professor vedung que eu tava trabalhando com avaliação etc ele me falou assim olha Rafael depois eu te escrevo um e-mail maior no momento eu só vou te deixar uma frase não saia indicadores tantos quanto você conseguir foque a coleta das suas informações seus indicadores na sua teoria do programa O que ele chama de teoria

do programa é basicamente modelo Lógico que vocês vão estudar por que que ele disse isso porque o modelo lógico a teoria do programa A Teoria da mudança Matriz lógica conforme vocês queiram chamar tudo a mesma coisa com nuances ele vai me indicar que que é importante pro meu programa que que é fundamental para que a que eu tenha que aconteça nesse momento para que a mudança que eu espero aconteça no futuro então ele me dá preditivos isso qualifica dá uma qualidade na verdade pro meu monitoramento e eu consigo tempestivamente aprimorar o meu programa eu consigo

falar assim olha eu tô com problema nos insumos as atividades a a interação com os determinados atores a articulação Federativa não tá dando bem aqui então eu consigo em determinado momento avançar e conseguir olhar para aquele ponto e e e fazer algo E aí a avaliação mesma coisa a teoria do programa pode ser e deve ser um mapa para essa minha avaliação então avaliação e monitoramento seriam Duas Faces de uma mesma moeda a inclusive Teoricamente alguns dizem que monitoramento seria um tipo de avaliação porque eu posso ter um monitoramento analítico professor janus vai falar mais

pra frente fala muito sobre monitoramento analítico porque isso vai me qualificar E aí as coisas vão ficar mais complexa até a pergunta pera aí mas então monitoramento analítico é ainda mais difícil ele me me dar essa esse julgamento um caminho para para entender Por que aquilo tá acontecendo dessa forma e não de outra Então olha já tem componente valorativo também né que é clássico da avaliação e as coisas vão se complicando mas a ideia é essa mas basicamente é algo que eu olho de forma mais contínua ou alguma questão mais pontual mais esporádica que eu

vou me debruçar com maior profundidade Obrigada Rafael a professora Rosana quer fazer uma consideração ainda aqui sobre indicadores tá bom é bem bem rápida assim né eu eu fico muito preocupada quando a gente começa a fazer avaliações né a gente começa a desencadear um processo avaliativo ou um monitoramento né que para mim também é um tipo de avaliação eh e aí a pergunta clássica é quais são os indicadores né eu fico preocupada pessoal porque indicador é um dado ou um conjunto de dados que a gente bota um dedão nele dizendo que ele aponta para alguma

coisa ele aponta para uma melhoria ele aponta para uma piora mas é um conjunto mas é um dado que a gente atribuiu a qualidade de de indicador não existe a priori um indicador que sirva para tudo não existe então quando a gente bota esse dedão a gente bota por vários motivos a gente bota porque a gente acredita que ele traduz o andamento Geral do objeto avaliado a gente coloca na prática também porque ele tá ali disponível tem outros que a gente não coloca porque é caro porque é difícil porque não dá para trabalhar com ele

e assim por diante então não não criem um um fetiche um mito em cima do conjunto de indicadores e os indicadores a longo prazo eles provocam problemas porque paradoxalmente quando a gente começa a olhar para eles a gente vai regulando a nossa política pública para os indicadores ficarem bem as sim então se no começo a ideia era que os indicadores mostravam o andamento da política depois de um certo tempo acontece um fenômeno chamado efeito túnel que aí acontece eu o contrário disso a gente começa a olhar pros indicadores e cuidar deles para que a política

dê certo um caso clássico disso é o p no Rio de Janeiro todo mundo conhe né unidade de polícia pacificadora no Rio de Janeiro aquele desastre os indicadores estavam ótimos quando desabou desabou tudo por quê Porque a gente construi um conjunto de indicadores que no começo traduziam a opp e no final não era todo mundo trabalhando para manter aqueles indicadores bons enquanto que o programa ia desandando então conjunto de indicadores e programa são duas coisas diferentes a gente precisa ficar muito atenta é preciso ter indicadores inteligentes que vão mudando também né Professor Rafael que vão

que vão caminhando para que a gente não Gere o tal do efeito túnel que é muito muito muito nocivo Senão daqui a pouco a gente vai ter índic de educação que tão bons mas na prática educativa a gente tá com problemas muito sérios Obrigada professora Rosana excelente esclarecimento eh eu eu só para dar um retorno ao Professor Daniel eu acho que o objetivo disso tudo aqui Daniel é o é esse é a gente fortalecer uma cultura de avaliação na administração pública e isso envolve as redes eu estendo aqui a sua o seu pedido e a

sua sugestão a enap que Produza programas que levem em consideração os estados e os municípios que saiam aqui da esfera Federal e cheguem nas redes focados na área de educação hein Rafael tô fazendo aqui Já de o meu pedido é o meu advocacy porque a enap ela tem muito nohal e tem condições de estrutura para fazer isso e ela precisa chegar em todos os lugares desse país não pode ficar restrita aqui ao governo federal até porque tem muita competência e excelência no que faz eh eu gostaria de saudar os colegas do INEP que estão aqui

presentes a gente acabou falando um pouco do trabalho do INEP das avaliações de larga escala dos indicadores que produz dos sensos educacionais e eu acho que tudo isso pessoal é uma parte do que a gente utiliza no nosso fazer avaliativo muito da nossa avaliação a gente vai se servir dessas desses dados desses indicadores que o Inep produz Mas a gente não precisa se reduzir a isso a gente tem uma oficina hoje que vai fazer essa provocação o quanto você também pode produzir o seu próprio indicador não é E aí como a professora Rosana falou a

gente vai disputar espaço toda toda a agenda aqui envolve disputa né porque a gente vai disputar seja com os órgãos de controle eh e essa é uma realidade viu professora Rosana que a gente tem vivido muito muito de perto cada um de nós aqui sabe o que é lidar com os órgãos de controle então cada relatório avaliativo que a gente recebe a gente tem que se dedicar a respondê-lo o valdoir aqui é testemunha nós fizemos uma resposta de era quase uma tese de doutorado né valdoir porque a gente tá disputando a gente tá Não não

tá se acovardando e a gente quer construir isso junto e eu acho que os órgãos de controle também podem ser parceiros nesse processo e a gente pode mudar a forma como a gente enxerga a avaliação no país uma uma última fala que quero fazer aqui ainda como moderadora que a professora Márcia joper trouxe e que me preocupou muito Professora Márcia há 15 programas no país lidando com avaliação de políticas pú é isso da sua pesquisa 15 programas de pós-graduação nós estamos aqui refletindo sobre a importância da avaliação nós queremos sensibilizar os nossos gestores e alta

gestão para ância de avaliarmos isso requer recursos financeiros para fazer avaliação e nós se não vamos fazer as avaliações nós mesmos vamos contratá-las a gente precisa ter profissionais avaliadores né que nós vamos fazer fazer essa demanda jogar essa demanda aí na arena e onde estão esses profissionais O Brasil precisa fortalecer também essa área precisa ter mais profissionais cada vez mais profissionais qualificados na área de avaliação que possam dar conta de toda a demanda desse serviço público desse gestor público seja no nível federal estadual Municipal que quer ter suas políticas e seus programas permanentemente avaliados porque

acreditam que a avaliação é um processo de aprendizado para isso nós vamos precisar de profissionais eu quero passar a para uma última pergunta Professora Márcia Baldini ela levantou ali e me pediu a palavra por favor professora bem nem seria uma pergunta seria uma contribuição e um questionamento para nós pensarmos aqui a gente sabe que dentro da história das políticas públicas e da avaliação em nosso país nós conseguimos avançar bastante e quando a gente fala na questão da qualidade do ensino naquilo que leva o gestor naquilo que leva o professor naquilo que leva cada estado e

município a pensar a refletir os indicadores que hoje nós temos construído são muito importante quero aqui parabenizar essa ação que o MEC vem fazendo e o Inep já faz há bastante tempo em relação a esses indicadores e que é necessário sim olhar para os indicadores olhar para o Ideb ele diz o todo não mas ele é um indicador que ele reflete língua portuguesa matemática a proficiência a função social da escola pública e nós não podemos simplesmente pegar os indicadores comemorar e ranquear temos sim porque quando a gente comemora que Subimos um démo é uma avanço

muito grande para cada município mas é necessário agora saber lidar com os dados pegar esses dados analisar os microdados vantuir os microdados a questão das desigualdades sociais raciais econômicas e trabalhar a partir daí outra questão importante nós já temos também desde 2020 na lei do fundeb a questão do varar é um condicionante que ele tá em cima do financiamento e da avaliação e ele pega todos os pontos do país desde o sentido da administração a macro a meso e a micro porque quando nós temos a questão do scms que avalia a alfabetização nos estados e

a avaliação também em proficiência em língua portuguesa nós temos ali um indicador bastante importante bastante forte em relação aos municípios pena que nem todos os estados fizeram o dever de casa de realmente tá implementando essa política e d subsídio para os seus municípios e quando a gente fala na questão de município hoje nós temos uma plataforma a do CAED que é muito tranquilo o município que não tem toda uma equipe formada está utilizando essa plataforma para realizar suas avaliações da mesma forma que quando nós chegamos lá na escola Eu hoje estou como secretária mas também

já estive como diretora como professora e como coordenadora utilizar essas avaliações para estar aplicando e avaliando a aprendizagem Então eu penso que temos grandes indicadores sim avançamos muito nos últimos anos principalmente Considero que nesses dois últimos anos a gente vem avançando em relação à questão da avaliação e não podemos expresar jamais esses indicadores outra questão também vou colocar aqui meu ponto de vista pra mesa e para vocês que estão aqui temos os órgãos de controle temos temos Tribunal de Contas Temos vários órg ministério público e esses indicadores quando a gente pega o PCA lá o

índice de avaliação de gestão municipal para avaliar ele é um indicador que ele força a gestão a sair do lugar onde está e ele colabora sim muito com dirigentes com educadores para fazer com que o próprio gestor maior das políticas prefeitos governadores façam ação invistam mais em educação então nós temos que considerar o todos os pontos positivos os pontos negativos e verificar os avanços seria isso muito obrigada [Aplausos] Obrigada viu Professora Márcia muito importante Professora Márcia lembrando aí também os efeitos que esses que a divulgação desses indicadores geram na no próprio na própria rede política

que tá envolvida na nas na na implementação de políticas públicas eu ouvi relatos muito positivos de como Eh esses resultados impactaram e e impulsion ar ações por parte da alta gestão nas secretarias em busca de melhorias E isso tem que ser tem que ser ressaltado também eu vou passar a professora Rosana para ela fazer as considerações bom as considerações finais né então não é porque aqui eu já tô pensando né filho comida casa e tal não eu só vou agradecer gostei muito da da fala da da professora aqui e eh concordo né com o que

ela diz da importância dos indicadores mas eu acho que a gente não tem que se limitar a eles a gente tem que entendê-los contextualmente entendê-los territorialmente entendê entendê-los eh localmente eu sei que na área da educação né a gente tem uma produção muito grande de indicadores isso não acontece em outras áreas de políticas públicas eh Então tem um sem sombra de dúvida que tirar o chapéu mas também olhar com com cuidado e não se limitar a a isso eu tô muito feliz de est aqui queria mais uma vez agradecer acho que é um um público

aqui muito eh muito especial né Essa comunidade de avaliadores aqui de vocês reforço minha sugestão que vocês façam rede que vocês façam redes territoriais redes nacionais também redes regionais que troem informação sobre avaliação que procurem compreender que aumentem o repertório de vocês que Leiam as avaliações e que Leiam eh os relatórios e que procurem discutir entre vocês e levar também pras Arenas que vocês fazem parte que me parece que isso é o o mais importante então eu deixo aqui um abraço a todos a todas e a todes estou muito muito feliz de ter estado aqui

muito obrigada professora Jana muito obrigada professora a todos os meus colegas também professora Márcia Professor Rafael é sempre um prazer muito grande a gente tá sempre se encontrando né um pouco nesses espaços e aprender com vocês é muito bom obrigada [Aplausos] gente professora Rosana aqui tem uma grande rede a renala e a gente já vai deixar o nosso convite pra professora Rosana participar de uma formação da renal Eu acho que vai ser muito importante levar esse ol [Aplausos] novamente agradeço a oportunidade como Rafael Comap tá aqui né nesse evento maravilhoso muito bom tá aqui aprendendo

ouvindo a professora Márcia a professora Rosana e ouvir com vocês também né porque eu acho que o mais importante disso é a troca né a gente fala a gente escuta e o que a gente aprende é aquilo que a gente interage né Eh gostoso ver também a diversidade de papéis que a gente tem aqui né a gente aqui tem pessoal da Rede a gente tem os gestores estão lá na ponta municipais a gente tem pessoal da equipe do MEC fn Inep cada um com o seu contexto cada um com seus papéis e e é interessante

E aí eu minhas considerações finais eu trago ali se a avaliação é algo contextual que depende o meu olhar pra avaliação meu papel em pensar avaliação vai depender desse meu contexto né desse meu lugar de fala onde eu estou em determinado momento né então é sempre importante um recado final Ora eu vou estar pensando desenhando a avaliação ora sou eu que vou estar executando a avaliação e ora eu vou apenas contratar essa avaliação mas o que todas essas distintas atividades e papéis T comum tem comum que a gente tem que pensar quando a gente olha

por exemplo uma avaliação e é muito comum e eu vivi muito isso na minha época de quando eu trabalhava na gestão querer fazer uma avaliação Vou contratar uma avaliação e o pessoal entrega um projeto de avaliação que é lindo que é elegante metodologicamente Impecável se você entregasse uma banca de doutorado falar assim tá aqui aprovado Vamos estudar isso mas aí eu me perguntava como gestor pera aí tá lindo tá bonito mas não responde aquilo que eu preciso saber então isso é sempre muito importante a gente ter em mente quando a gente vai desenhar avali Pera

aí que que o demandante da avaliação tá precisando saber vai ser útil para ele vai ter utilidade eu como gestor demandando avaliação essa esse projeto que me entregaram tá respondendo aquilo que eu preciso saber então novamente meu meu recado é esse vamos olhar pra avaliação pro desenho desse método dessas abordagens e pensar Responde ao propósito para qual eu pensei essa avaliação novamente meu obrigado obrigado e até mais bom almoço para todo [Aplausos] mundo obrigada Professor Rafael já deixo aqui reforço nosso nosso pedido de que a enap vai promover formações para as redes chegando alcançando os

estados e municípios e eh também professora Rosana que a pesquisa no Brasil na área de avaliação de políticas públicas eu sei que você anda aí em contato com todos os programas pó ação dessa área que se interessem pelas políticas educacionais eu acho que a maior aproximação que eu gostaria de ver é a aproximação do campo da administração pública e da Ciência Política com a educação se aproximem das políticas educacionais as políticas educacionais importam e elas são muito muito muito fortes e elas estão desejosas a gente pode ver aqui de ser avaliadas com responsabilidade com esse

seu olhar qualificado Se a gente pudesse contratar professora fazer todas as avaliações que a gente precisa a gente já ia fazer isso agora né Então pessoal passo palavra muito obrigada a todos pela atenção vou passar de volta a palavra ao Gênesis que ele vai passar alguns informes importantes peço que vocês Ouçam com atenção obrigada o nosso Muito obrigado ao professor Rafael também a professora Rosana e a professora Janaína pela abordagem desse tema tão importante nesse painel e quero pedir nesse momento que se posicionem para fazermos também um registro fotográfico desse painel por [Aplausos] gentileza agradecemos

então mais uma vez aos componentes desse painel e a organização do nosso evento passa para todos vocês algumas informações muito importantes pedimos a sua atenção foi necessário fazer uma pequena alteração na programação dessa forma a apresentação do coral do MEC que seria no período da manhã ficou para o período da tarde então professora Janaína 13:50 1350 que eu estou sabendo estou sabendo que há um uma uma teremos apresentação de um dueto eu posso falar de quem vocês querem saber não vou falar é segredo e E então a gente vai almoçar na quadra aqui próxima E

aí a gente pode voltar a gente vai caminhando mesmo é muito perto vou almoçar com vocês Pode deixar tudo aqui tá bom isso então retorno do almoço às 1:50 esse momento especial do coral do MEC E só mais um detalhe quem não fez o seu credenciamento ainda por gentileza passe ali na no nosso credenciamento faça lá o seu credenciamento e se precisar consultar também a oficina na qual você está inscrito para o período da tarde pode procurar no nosso credenciamento um ótimo almoço a todas e a todos e até às 13:50 de volta