Unknown

organizado pela Secretaria de Educação Básica do Ministério da Educação este seminário que se iniciou ontem tem como objetivo contribuir com a formação de gestores e equipes técnicas do Ministério da Educação e das secretarias de educação básica sobre o importante tema do monitoramento e avaliação de políticas públicas além dos participantes aqui presentes conosco Saúdo também todas e todos que nos assistem pelo canal oficial do MEC no YouTube retomando a nossa programação temos o prazer de anunciar a primeira mesa desta tarde que abordará o tema avaliação de impacto e avaliação de resultados gostaríamos de convidar o Professor

Armando Simões que fará que será responsável pela moderação desta mesa Uma salva de palmas professor dor em educação pela Universidade de sunsex na Inglaterra Servidor da carreira de especialista em políticas públicas e gestão governamental e atua como diretor de programa na Secretaria de articulação intersetorial e com os sistemas de ensino AAS do Ministério da Educação para compor a mesa convidamos a professora Camila Soares a salva de palmas técnica em planejamento e pesquisa do Instituto de Pesquisa Econômica aplicada o ipea convidamos também o professor Jackson de ton Professor Jackson é gerente de monitoramento e avaliação da

agência Brasileira de desenvolvimento industrial vinculada ao Ministério do Desenvolvimento indústria Comércio e serviços ou mdic Desejamos a todos um momento muito produtivo e enriquecedor e imediatamente passamos a palavra ao moderador dessa mesa o Professor Armando Simões é muito obrigado pode pode pode continuar pode alô som ei um do um do som ah ei ei ei um do som e Alô boa tarde boa tarde a todas a Tod toos cumprimentar aqui o professor Jackson Deton a professora Camila Soares muito bem-vindos cumprimentar aqui a todos as participantes né das secretarias né de Educação Básica dos Estados do

ministério de educação também a todos aqueles que nos acompanham pelo canal do YouTube é um prazer enorme estar aqui hoje com vocês para que a gente abra essa essa mesa e uma das Mesas desse seminário importante sobre monitoramento e avaliação de políticas de Educação Básica né então para que a gente possa introduzir os nossos participantes ou antes um pouco de introduzi-los é relembrar que nós teremos então aqui essas duas apresentações cerca de 30 minutos cada uma delas ao final das apresentações então Eh os participantes poderão levantar questões fazer comentários perguntas né e teremos então cerca

aí de 30 minutos para que a gente possa trocar e debater um pouco sobre os temas apresentados né Eh eu gostaria inicialmente de apresentar então a a professora Camila Soares né Eh Camila é Doutora em administração pública e governo pela Fundação Júlio Vargas é técnica em planejamento e pesquisa do ipia que é o Instituto de planejamento de Pesquisa Econômica aplicada ligada ao Ministério do planejamento Né desde 2014 atua na área de avaliação de políticas públicas tanto instituições acadêmicas quanto no governo federal onde esteve Até recentemente até Julho como subsecretária na Secretaria de monitoramento e avaliação

de políticas públicas e assuntos econômicos do Ministério do planejamento e orçamento A Camila vai falar vai conversar conosco hoje sobre o tema de avaliação de impacto certo e aqui à minha direita temos o professor Jackson de ton né Professor Jackson é doutor em Ciência Política pela Universidade de Brasília n é gerente de monitoramento e avaliação da agência Brasileira de desenvolvimento industrial eh vinculada ao Ministério do Desenvolvimento Indústria e Comércio ele atua né também em planejamento governamental eh gestão e avaliação de políticas públicas tendo sido assessor especial da presidência da república né nos anos 2004 a

2006 e gerente de planejamento da PC entre 2007 e e 2011 né o professor Jackson vai conversar conosco hoje também sobre a avaliação de resultados então sem mais delongas né gostaria de passar a palavra aqui paraa professora Camila eh e temos aí então cerca de 30 minutos para para sua apresentação Muito obrigado obrigada Armando eh bem primeiro Boa tarde a todos e todas também a quem tá nos assistindo de casa queria aí no nome da Janaína agradecer ao convite acho que é um prazer estar aqui hoje falando com você sobre avaliação de impacto é um

prazer também dividir a mesa com professor Jackson eh eu conversando um pouco com a Janaína entendendo a ideia do seminário que eu vou trazer aqui hoje é uma introdução muito rápida a avaliação de impacto eu inclusive vou terminar acho que sugerindo um pouco outros caminhos que vocês podem seguir para se aprofundar nessa temática então eu optei Por trazer menos slides vou dar bastante exemplo na minha fala e e a gente vai ter um momento de troca ao final assim Acho que esse é um tema que a gente escuta muito falar é um tema que às

vezes assusta um pouco porque vem junto com muita estatística eh e com muitas palavras que às vezes parecem complicadas Vou tentar dar uma traduzida em tudo isso mas tem muita gente que faz isso super bem então lá no final vou trazer um pouco para vocês e de outros locais Inclusive tem cursos fenomenais na enap sobre isso eh eu acabei de assumir como técnica de planejamento pesquisa no ipea Então nada do que eu tô falando aqui está diretamente ligado eh à minha atuação no ipea mas eu tava até Julho eh na Secretaria de monitoramento e avaliação

eh do mpo que vale dizer que foi o primeiro esforço de centro de governo da gente ter uma secretaria que faz avaliação de política pública eh foi dentro do mpo reconstruído né da da ministra Simone Então só deixar aí também eh essa referência sei que no mec vocês têm uma Secretaria de avaliação e a gente tem a sad eh sad CAD atualmente do MDS que há 20 anos faz eh avaliação n planado Então acho que a gente tem muitos exemplos para aprender vou ver se eu consigo trazer alguns deles ao longo da minha fala Eh

que que eu vou falar com vocês hoje acho que o caminho da minha apresentação vai ser esse que tá aí eu vou começar retomando o conceito da avaliação eh eu gosto de dizer que esse termo avaliação é um termo um pouco disputa assim eu vou trazer um conceito da ocde acho que outros professores que estiveram com vocês podem trazer conceitos um pouquinho diferentes e é isso acho que quem trabalha nessa área tá muito acostumado Inclusive a discutir o que que é o que que a gente tá entendendo como avaliação mas eu vou trazer esse conceito

um pouco para situar a avaliação de impacto entre os diferentes tipos de avaliação falar um pouquinho das características do que que faz uma avaliação de impacto falar um pouquinho do que que essa palavra impacto O que que a gente tá entend Endo quando eu tô falando impacto em avaliação falar vou falar aí um pouco vou gastar um pouquinho mais de tempo falando dos métodos de avaliação vou falar do método experimental vou falar de métodos não experimentais e por fim Vou terminar fechando um pouco falando do planejamento de uma avaliação de impacto Tá bom Camila você

falou tudo isso mas se eu quiser aplicar isso na prática tentar trazer alguns insights para você sobre como planejar uma avaliação de impacto também o que que a gente precisa ter em mente eh se a gente é demandado uma avaliação de impacto e por fim deixar um resumo aí dos principais pontos e algumas observações importantes que acho que a gente precisa ter quando quando quiser seja demandar uma avaliação de impacto seja se envolver em uma avaliação de impacto seja analisar o resultado de uma avaliação de impacto que eu acho que são situações que vários de

vocês vão se ver confrontando no dia a dia já peço desculpas que eu tô com essa voz um pouco comprometida aí mas o a secura de Brasília não tem ajudado então que que esse conceito de avalia que eu tô trazendo para vocês como eu disse vem lá de um glossário da ocde ele caracteriza avaliação como eh ele começa conceito de avaliação dizendo que a avaliação sistemática objetiva de um projeto programa ou política em andamento concluído seu design implementação e resultados o objetivo da avaliação é determinar relevância e o cumprimento dos objetivos eficiência do desenvolvimento eficácia

Impacto e sustentabilidade uma avaliação deve fornecer informações úteis eh confiáveis e úteis permitindo a incorporação de lições apreendidas no processo decisão de destinatários e doadores que o que queria chamar atenção a avaliação tem como objetivo determinar uma relevância um cumprimento de objetivos eu vou discutir aqui com vocês que a avaliação de impacto em particular tem como objetivo entender se aquela política aquele programa aquela ação que eu fiz de fato contribuiu para uma mudança que eu vou ver na sociedade é isso que a gente chama de impacto então quando eu tô falando de determinar relevância no

contexto da avaliação de impacto eu tô falando de uma relevância extremamente circunscrita e específica tá Ah falar mais perto Ah tá bom sim tá bom desculpa gente eh e e eu acho que esse ponto final aqui ele é Central uma avaliação ela deve fornecer informações confiáveis e úteis que permitam incorporações de lições aprendidas de nada adianta a gente fazer uma grande avaliação de impacto super robusta estatisticamente corr se aquilo ali De fato não tá levando ao aprimoramento de política pública a modificar aquilo que a gente estava estudando então acho que esse ponto final é bem

bem Central para que avaliar a gente avalia no caso do Estado né a gente avalia avalia para conseguir aprimorar a política pública para entender o que tá errado e conseguir modificar e o que eu vou terminar hoje falando para vocês é que a avaliação de impacto por si só não traz todas as respostas que eu quero e ela não se pretende a isso então eu tenho que juntar diferentes outros tipos de avaliação professor vai falar um pouquinho de avaliação de resultados mas a gente tem também tem outros tipos de avaliação que vão trazer insumos para

eu ter esse quadro geral né do que que eu preciso aprimorar no meu programa E aí quando eu penso em avaliação de impacto quando eu penso nas categorias de nos tipos de de avaliação a avaliação de impacto ela pode ser classificada como uma avaliação expost O que que é uma avaliação Export uma avaliação que acontece depois que o programa já tá implementado então é muito comum na literatura de de avaliação a gente tem o expost o exante o exante é aquela avaliação daquilo que ainda não foi implementado daquilo que ainda tá sendo formulado que tá

sendo refletido pensado eh programado já a avaliação de impacto é uma avaliação expost ela acontece após o programa ter sido implementado muitas vezes inclusive após ele ter sido finalizado eh eu posso fazer uma avaliação de impacto exante poderia tem gente que vai fazer simulações etc mas o que o tipo de método que eu tô trazendo para vocês aqui é sempre de uma avaliação de impacto expost e que que é um tipo de pergunta avaliativa o que que uma avaliação de impacto responde pensando em vocês né que são gestores da área da Educação ela vai querer

saber por exemplo se o programa modificou As habilidades dos alunos Então vamos dizer que era um programa focado no ensino de leitura eu tô querendo saber se aquele programa de fato modificou as habilidades leitoras da daqueles alunos Será que alunos do fundamental um Ao serem expostos aqueles programas passaram a ler melhor Esse é o tipo de pergunta que uma avaliação de impacto vai responder e o Ponto Central de uma avaliação de impacto é identificar as relações causais entre o programa e as mudanças observadas no indicador de impacto quebrando isso uma parte por vez né O

que que são relações causais é quando eu digo que de fato foi aquele programa aquela ação que foi feita que levou aquela modificação que eu vejo na realidade Então essa é a causalidade uma coisa levou a outra causou a outra E aí eu tô dizendo aqui mudanças observadas no indicador de impacto Camila que que é o indicador de impacto é sempre o mesmo não na educação eh muitas vezes o indicador de pacto que a gente tá olhando vai ser proficiência e o Brasil tem uma série de dados eh muito robusto sobre a proficiência dos alunos

quando eu penso em avaliação de programas educacionais muitas vezes o indicador de impacto vai ser essa proficiência Mas pode não ser eu posso estar aplicando um programa em sala de aula eu quero melhorar o clima escolar eu posso est implementando um programa na escola porque eu tô querendo melhorar a gestão escolar então o que que vai ser meu indicador de impacto Depende do que que é o meu programa e eu vou falar isso logo mais para eu definir o meu indicador de impacto eu preciso fazer um trabalho antes que é de entender a teoria da

mudança ou o modelo Lógico né como quer que a gente queira chamar eh eu preciso entender Quais são os resultados esperados daquela política o que que aquela política aquele programa O que que ele quis modificar quando ele foi desenhar e aqui eu vou fazer um parênteses bem rapidinho eu falo programa e política de forma significando a mesma coisa aqui eu sei que para nem todo mundo isso é a mesma coisa mas só pra gente facilitar entender que quando eu tô falando programa política ou ação na minha fala eles querem dizer a mesma coisa tá então

a avaliação de impacto ela tem como objetivo identificar essas relações causais entre o programa e as mudanças que foram observadas E aí eh qual que é o objetivo né o objetivo é verificar se a política pública ou o programa teve sucesso em alcançar os impactos que se pretendia quando aquele programa aquela política foram foi desenhado Como que eu faço isso através de metodologias que vão identificar essas relações causais entre a intervenção que pode ser uma política um programa uma ação e as mudanças observadas essas mudanças elas podem ser observadas em diferentes indicadores que devem ser

definidos com base na teoria da mudança da política ou do programa pode ser teoria da mudança pode ser modelo lógico pode ser qualquer ferramenta que tenha sido utilizada para compreender para mapear para entender o que que aquela política o que que aquele programa foi desenhado para alterar importante a gente lembrar que eu posso ter mudanças positivas ou negativas então eu posso tá querendo gerar um impacto positivo ou negativo em alguma em algum indicador e eu posso ter mudanças diretas que eram aquelas que eu de fato tô ali modificando então o exemplo que eu tava dando

de eh de algum programa do fundamental um que esteja que que tenha como objetivo alterar a habilidade de leitura de alunos eh ele pode estar lidando diretamente com essa habilidade então tem algum material didático novo ou o professor o professor passa a utilizar uma técnica diferente eh no processo de de ensino de português por exemplo ou ele pode ser uma modificação indireta uma mudança indireta que ainda nesse exemplo eu posso por conta desse programa melhorar o clima entre os alunos aumentar tá eh não sei eu posso ter alunos que ficaram mais próximos que ficaram mais

amigos e o clima de sala de aula melhorou e pro professor isso teve uma consequência super boa que tá um pouco mais tranquilo dele dar aula por exemplo Então o que é importante da gente saber é que a ideia central da avaliação de impacto é consegui encontrar essa relação causal consegui dizer Olha foi aquele meu programinha que foi aplicado que de fato levou a Esse aumento da proficiência em português ou o que quer que seja eh isso quer metodologias especificamente metodologias estatísticas mas antes de eu chegar na parte estatística e antes de eu chegar um

pouquinho mais nos exemplos que que são as metodologias que são usadas é importante eu bater de novo nessa tecla do que que é Impacto E aí eu peguei referência desse livro que eu vou deixar o link dele no final depois Janaína Compartilha esse material com vocês eh que é um material do banco interamericano de desenvolvimento e que tenta fazer uma avaliação de ele o livro chama avaliação de impacto na prática e a eu acho que é Talvez uma das melhores tentativas de traduzir o estatisticas ou economis para uma linguagem eh acho que mais acessível para

todos assim eh e e nesse material ele vai conceituar impacto como as mudanças diretamente atribuíveis a um programa modalidade de programa ou inovação no desenho de um projeto o que que tá por trás desse conceito de impacto que vai afetar quando eu for discutir metodologia nos próximos slides comparações simples não são suficientes então uma avaliação de impacto nunca vai comparar simplesmente um grupinho que recebeu e um grupo que não recebeu alunos que participaram desse meu programa eh que eu tô dando de exemplo para eh melhorar a proficiência em português ou para melhorar a habilidade leitora

com alunos de outra escola que não tiveram acesso comparar simplesmente dois grupos assim não leva a uma estimação de impacto também não Adi comparar o mesmo grupo antes e depois se eu pega o aluno antes dele ter sido exposto ao programa e depois de ser exposto ao programa isso não pode ser dito como Impacto isso Isso é uma informação importante é acho que isso é uma coisa importante se dizer também analisar o antes e depois comparar grupos não deixa de ser algo relevante e importante de ser mensurado não é isso que eu tô dizendo mas

não é uma avaliação de impacto E aí como que então eu vou encontrar esse elemento mágico que tá aqui no no no céu né esse impacto O ideal seria comparar o mesmo grupo então os mesmos alunos os mesmos participantes no mesmo momento do tempo em dois estados diferentes tendo participado e não tendo participado isso obviamente é impossível eu não tenho o mesmo aluno vou saber como ele estaria em no segundo semestre de 2022 tendo participado do programa no primeiro semestre e não tendo ou ele participou ou ele não particip participou Então esse cenário ideal ele

não existe e na verdade tudo que avaliação de impacto tenta fazer e as diferentes metodologias é uma busca por encontrar de fato esse estado que não tá aqui que não dá pra gente pegar nele que é muito da ideia do que a gente chama de contrafactual uma dessas palavrinhas difíceis que sempre quando a gente vai falar de avaliação de impacto aparece então contrafactual é qual que teria sido o resultado pros participantes do programa se eles não tivessem participado do programa Essa é a ideia Central que é a Assim vocês tiverem que lembrar uma coisa depois

de hoje lembrem disso eu quero que a avaliação de impacto tenta fazer é encontrar o melhor contrafactual possível então quero encontrar o melhor grupo que me permita concluir qual que teria sido o resultado dos participantes Daquele programa se eles não tivessem participado Daquele programa e vai ter uma série de formas de estimar isso que é um pouco do que eu vou mostrar nos próximos slides mas aí só voltando um pouquinho reforçando nessa ideia Por que que não adianta eu comparar antes do programa e depois do programa porque vamos pensar num aluno de segundo ano esse

aluno de segundo ano em se meses ele se desenvolve para caramba ele aprende coisas novas ele faz novos amigos acontece coisas na casa dele eh ele é exposto a outros tipos de aprendizagem seja na escola seja fora da escola então esse aluno muda muito e comparar ele antes com ele depois não foi só o programa que mudou a vida dele mudou e acho que quando a gente pensa na criança pequena isso é muito muito claro né 6 meses 2 meses o que seja uma semana eh vai fazer toda a diferença e eu comparar quem participou

com quem não participou também não não resolve tudo porque quem não participou pode ser muito diferente a escola vamos a gente tá em Brasília né mas eu tenho aqui uma escola da as su que tá numa determinada quadra que tem lá uma turma de terceiro ano B A turma de terceiro ano a daquela mesma escola pode ser muito diferente mas com certeza a turma de terceiro ano A ou B da asa norte ou de Planaltina ou de Itaguatinga vai ser mais diferente ainda então fazer essas comparações simples não são suficientes Essa é a ideia da

avaliação acho que essa a ideia central da avaliação de impacto então assim vocês forem lembrar uma coisa depois disso é o que a avaliação de impacto tenta fazer é encontrar qual que teria sido esse resultado se aqueles alunos se aqueles participantes não tivessem participado do programa E aí tem muita gente pensando sobre isso bastante tempo e desenvolvendo um bando de de metodologia para conseguir eh encontrar esse contrafactual né então diferentes métodos são usados para encontrar um grupo de comparação que consiga estimar esse contrafactual que consega estimar o que teria acontecido aos participantes do programa sem

o programa para daí posteriormente a gente encontrar o impacto queer comparar quem recebeu com esse grupo de comparação então avaliação de impacto no final quem for receber uma avaliação vai receber no final uma cooperação entre dois grupos e A grande questão é quão robustos quão bons esses grupos são para de fato fazer essa comparação E aí escolher o método vai depender das características do programa eu vou passar aqui por por pelos métodos mais conhecidos pelos mais usados na verdade eh mas eles não são todos eu não vou passar por tudo e independente de qualquer coisa

é importante vocês saberem que o que vai definir o método são as características do programa Então os critérios de elegibilidade para seleção de quem vai participar a focalização Daquele programa e o cronograma de implementação do programa isso é crucial pra gente entender quais métodos que podem ser aplicados a questão dos dados né de que informação que eu tenho disponível faz diferença também eu vou falar disso um pouquinho mais para frente mas quando eu falo de qual método que vai ser escolhido isso depende intrinsecamente de como é aquele programa aí quando a gente pensa em método

acho que método para avaliação de impacto Eu tenho dois grandes grupos o experimental e o não experimental experimental vocês talvez já tenham escutado né o método experimental avaliação de impacto al autorizada em 2019 quem ganhou o prêmio Nobel foi um pessoal ligado ao MIT que faz esse que que é muito conhecido por avançar nas técnicas de avaliação de impacto experimental mas a avaliação de impacto experimental muitas vezes ela não é possível E aí aí se desenvolveu uma série de outros métodos que a gente vai chamar de quase experimentais E aí eu trouxe aqui os que

vão acabar sendo mais utilizados que vocês vão encontrar mais no dia a dia diferenças e indiferenças regressão descontínua e pareamento Mas tem uma série de outras que eu vou só tocar rapidinho deixa eu só dar um gole de água então assim acho que para cada um desses métodos eu vou passar rapidinho trazendo a definição e depois nas perguntas se alguém tiver curiosidade a gente volta e fala um pouco mais sobre eles mas acho que é bem importante de reforçar que todos os métodos têm vantagens e desvantagens eh a gente pode falar Eh e a literatura

reforça muito isso que o método experimental é o padrão ouro quando eu penso em avaliação de impacto quantitativo mas ele e eu vou te dizer que no contexto de avaliação de política pública ele muitas vezes senão grande parte das vezes ele não é factível é implementado e significa que ele não é o padrão ouro não ele é muito robusto a questão é a factibilidade da gente implementar isso no dia dia então o que que acontece nesse método nesse método eu parto de uma população única então por exemplo vou voltar lá os alunos de terceiro ano

do GDF eh e aí eu sorteio eu defino de forma aleatória quais grupos que vão receber quais grupos que não vão receber esse programa eh já de cara quando eu falo isso para vocês e se bobear isso é um ponto que vocês já se debruçaram já escutaram tem dilemas éticos que podem ser postos Quando eu penso que alguns vão receber e outros não vão receber a literatura tem olhado cada vez mais para isso eu acho que no contexto da Educação no contexto de país que nem Brasil né que a gente tem eh uma constituição forte

que define uma série de de políticas que são obrigatórias isso torna tudo tudo ainda mais eh complexo e com dilemas importantes da gente se pensar mas a título de explicação aqui como exemplo eu vou continuar dando esse então a le teorização eu defino a partir de uma população quem vai receber e quem não vai receber eu a estatística vai dizer que ao fazer esse sorteio eu garanto que esses grupos eram estatisticamente equivalentes Ou seja quando eu comparo e isso significa quando eu comparo eles mais à frente depois de ter recebido o programa a diferença que

eu encontrar nos resultados são diferenças que podem sim ser atribuídos ao programa Então o que autorização faz é me permitir dizer que se não fosse o programa aqueles grupos seriam iguais e como eu disse nem sempre Para Não Dizer quase nunca a autorização vai ser possível E aí eu vou precisar utilizar outros métodos para encontrar esse contrafactual né que é a minha ideia que eu vou ficar reforçando para vocês os métodos são sempre tentativas de recuperar esse contrafactual cada método vai ter suas vantagens e poderá ser utilizado em diferentes situações de acordo com as características

do programa de novo isso é muito importante eh são as características do programa que vão informar quais métodos que são possíveis ou não possíveis o pesquisador ele vai ter algum espaço alguma liberdade de escolher x ou Y em termos de método Mas nem todo método poderá ser aplicado ao teu programa Ach que isso é uma coisa bem importante de ter essa ideia fixa E aí eu Acho que o mais comum quando a gente pensa em avaliação de impacto quase experimental é o método de diferenças e indiferenças esse é o método que tem um desenho mais

simples e portanto e acaba sendo mais utilizado E quando eu penso em educação e como dada a multitude de dado robusto que a gente tem ele é com certeza o mais utilizado basicamente no desenho mais simples eu vou comparar dois grupos antes e depois um que participou do programa E outro que não participou e o impacto vai ser essa dupla diferença entre a evolução de quem participou que é esse grupo que eu chamo de tratamento e a evolução de quem não participou que é o grupo que eu chamo de comparação acho que meu próximo slide

Eu tenho um de zenhozinho esse desenho eu roubei lá desse livro que eu vou compartilhar no final com vocês mas vocês estão vendo que a a linha cinza ela tá mostrando como evoluiu o grupo de cooperação e a linha preta como evoluiu o grupo de tratamento e o impacto ao final é a diferença dupla a diferença na evolução entre C e D e entre a e b então eu tô querendo saber e quanto eu vou subtrair da evolução do grupo de cooperação a evolução do grupo de tratamento fazendo essa diferença dupla eu vou ter o

que que é o impacto eh um exemplo rápido só para mostrar e essa é uma figurinha que vocês vão ver repetidas vezes né para quem depois ficar curioso e quiser ir lá mergulhar um pouquinho no mundo de avaliação de impacto outro método que é bastante utilizado é o método de regressão descontínua esse método Ele só pode ser aplicado quando a entrada no programa ela é definida a partir de o critério específico quantitativo e contínuo e eu tenho ponto de corte então por exemplo eu só vou receber um um determinada política um determinado programa se eu

tô abaixo se eu tô abaixo de uma de um índice de pobreza por exemplo E aí então o que a regressão descontínua vai fazer é criar um grupo de comparação que é quem tava muito pertinho ali de de não de não receber com quem recebeu porque mas estava muito pertinho de não receber então eu vou olhar para quem tiver muito perto eu vou supor que essas pessoas são muito parecidas E aí eu vou conseguir fazer uma análise de impacto esse acaba sendo o método menos usado na educação mas ele é muito usado por exemplo quando

eu penso eh em programas de transferência condicional de renda que eu vou poder usar se eu tiver que eu vou poder receber se eu tiver renda de R 100 ou que seja por exemplo E aí então eu vou estimar o impacto comparando Quem foi elegível com quem não foi mas quase que foi e por fim o pareamento é um grupo é um método bem simples A ideia do pareamento é construir um grupo de comparação eh artificialmente pareando cada participante com o não participante a partir de características observáveis características observáveis aqui são as características que eu

tenho informação sobre de novo na ação Isso é muito bom porque você tem informação sobre muitas características dos alunos muitas características dos professores então eu posso criar bons grupos de comparação eu vou ter diferentes formas de fazer essa Parea esse pareamento de criar esses grupinhos uma das mais utilizadas é o scor propensão mas eu tenho outras formas também de fazer isso E aí nesse caso o impacto vai ser estimado comparando o grupo de tratamento com esse grupo de comparação construído através do do pareamento tem outros métodos gente vai ter gente que vai usar variável instrumental

para fazer regressão eh para fazer avaliação de impacto controle sintético é uma agenda que evoluiu muito nos últimos anos e vai ter muita combinação de método então eu vou fazer um pareamento com uma diferença de indiferenças vou fazer uma variável instrumental com alguma outra coisa controle sintético E por aí vai eh acho que a principal mensagem que eu queria dizer deixar para vocês é que eu tenho diferentes métodos para diferentes situações onde a gente pode fazer avaliação de resultados n na literatura e na prática da da da das dos avaliadores e dos processos avaliativos compreende

uma grama uma gama muito Ampla de métodos de técnicas né talvez O que diferencia a avaliação de resultados e suas várias técnicas daquilo que é avaliação de impacto é que não necessariamente a avaliação de resultados está comprometida com a identificação precisa das relações de causalidade a então eu comprei um computador para cada aluno a média subiu 10% então eu posso dizer que a o aumento da do desempenho da nota foi devido à aquisição dos computadores avaliação de resultados não trabalha com isso ainda que ela tenha que guardar evidentemente precisão coerência cuidado com os dados mas

pode ser por exemplo uma avaliação antes e depois uma avaliação custo benefício uma avaliação de efetividade uma avaliação às vezes até de conformidade né olha eu tinha esses produtos para gerar eu alcancei isso ou não Por quê né a avaliação de impacto no guia não é uma sugestão de implementação o guia apenas enumera o conjunto de metodologias e técnicas que a Camila acabou de citar resumidamente e recomenda que o o grupo avaliador que os gestores que estão fazendo aquela avaliação eh reflitam sobre a necessidade ou não de fazer uma avaliação de impacto de planejar uma

avaliação de impacto e esse é outro elemento importante né avaliação de impacto nem sempre e na maioria das vezes pela prática que a gente tem na administração pública federal é viável ou é possível por isso que os guias executivos inclusive foram formulados e estão sendo amplamente utilizados porque eles substituem num tempo relativamente curto de 4 a 5 meses dependendo da complexidade da política e do tempo disponível e da vontade do patrocinador eh Fazer uma avaliação mais ou menos robusta de um projeto de uma política que vai servir pro aprimoramento contínuo daquela política pública daquele projeto

uma visão mais incremental mais progressiva né então avaliação de de executiva focada em resultado ela não substitui avaliação de impacto ela muitas vezes funciona como uma met avaliação ou seja ela dá ferramentas pra gente analisar outras avaliações que foram feitas no passado Daquele programa caso elas existam evidentemente e outras vezes Os guias servem para planejar os elementos de uma avaliação de impacto mais robusta que sempre custa mais leva mais tempo é mais complexa etc etc depois nós temos os o o o o oitavo passo que é a análise do orçamento que é uma análise baseada

Basic em eficiência né eu tinha tanto gastei tanto executei tanto que Impacto teve isso no programa eh economicidade gasto e recomendações finais né as experiências que eu vou trazer rapidamente foram essas então Eh eu eu coordenei e facilitei processos de avaliação executiva né esse é o nome avaliação executiva uma ideia mais algo mais rápido mais despachado eh do programa de segurança de barragens do programa nacional de arquivos públicos e do programa nacional de desempenho né o pgd da do ministério de gestão todas elas foram remotas isso é um dado interessante quer dizer hoje em dia

a gente tem tecnologia para promover processos avaliativos à distância a gente usou painéis eh com base naquele aplicativo né o o software que muitos conhecem chamado Miro mas existem vários outros de de uso público eh ele é bem versátil porque ele Permite a participação individual e a visualização das contribuições individuais das pessoas de forma coletiva eh simultânea essas duas avaliações do programa de barragens e do programa de arquivos públicos estão publicadas Então se vocês entrarem no Google com esses nomes depois a organização do evento disponibiliza os slides vocês vão achar os os relatórios Acho que

são bem bem interessantes Antes aqui eu resumi evidentemente todas a os quadros que a gente montou durante qu ou 5 meses aproximadamente 25 oficinas de 3 horas de duração cada uma 25 30 dependendo do programa né feitas remotamente uma vez por semana então é um tipo de avaliação de metodologia que é muito fácil de customizar de adaptar né de flexibilizar o roteiro básico que a gente seguiu adap aquela metodologia Então nem sempre é possível seguir os 10 passos lá do guia executivo expost então a gente acaba priorizando de acordo com a demanda com o patrocinador

análise de problemas análise do desenho avaliação de resultados avaliação de governança e avaliação de riscos né encontros virtuais como eu falei Eles trazem alguns desafios eh dependem muito da maturidade do grupo então é evidente que grupos que tão mais tempo trabalhando juntos que já se conhecem que desenvolveram relações de confiança de solidariedade de trabalho eh mais sinérgico mais colaborativo mais cooperativo evidente que os resultados vêm mais fáceis eles são mais consistentes a gente tem menos conflitos ou os conflitos são mais elaborados grupos com menos maturidade eh essa confiança precisa ser construída e às vezes durante

o processo Então depende muito das habilidades de moderação de facilitação de comunicação né dentro do grupo a construção do roteiro avaliativo também é importante né Essas esse processo muitas vezes ele não serve só para avaliação ele não responde só a pergunta o programa deu certo ou errado e porquê e quais são os critérios que a gente adotou ou deixou de adotar muitas vezes essa é uma descoberta muitas políticas muitos projetos a gente se dá conta que eh o programa não sabia qual é o problema que ele deveria resolver o projeto não tinha clareza sobre quais

eram os critérios que deveriam ter sido adotados para avaliar se deu certo ou não Então essas descobertas são importantes e aí esses processos funcionam como grandes momentos de aprendizagem de aprendizagem de aprender com os erros da instituição da organização e e e e e erros não no sentido de culpabilizar esse Ou aquele gestor mas no sentido de como podemos aprender com eles e evitar pelo menos cometer os mesmos erros nos próximos ciclos de de avaliação né Eh eles funcionam também como como preparação para atividades de planejamento isso é interessante né Eh Muito muitos programas muitos

projetos que identificam eh nesse uso dos guias executivos sobretudo guia expost problemas no na identificação do da problemática no desenho da governança na identificação de critérios de avaliação em instrumentos de implementação que não funcionavam tudo isso vira insumo pro ciclo de planejamento Então as oficinas de planejamento de retomada do projeto no próximo ano na próxima gestão etc se alimentam desses insights que os grupos construíram coletivamente Então essas essa prática de oficinas de cocriação ela ajuda muito para gerar consensos no ambiente no caso de vocês do ambiente escolar envolvendo Imaginem uma situação hipotética por exemplo pais

eh eh Comunidade da escola enfim público Mais amplo né e é fundamental isso para planejar o processo de avaliação né avaliação não é algo complexo mas também não é algo trivial precisa ser pensada quem vai avaliar quando que tempo quais são os recursos disponíveis Quais são os critérios de avaliação que tipo de eh apenas mais uma possibilidade que precisa ser pensada no tempo no espaço em que condições quem participa para queê com qual uso etc etc né são soluções muito Provisórias e circunstanciais avaliações executivas não substituem avaliações de impacto sobretudo Quando essas avaliações são necessárias

e são possíveis são viáveis como qualquer avaliação ela não substitui o planejamento nem a definição de estratégia nem escolhas políticas institucionais né então se a direção da escola se a direção da secretaria não sabe para onde vai ou tem práticas absolutamente caóticas de gestão ou tem uma clareza muito baixa de uma visão de futuro é é é possível é improvável que o processo de avaliação resolva esses problemas ao contrário uma boa avaliação seja ela executiva ou não vai identificar que o projeto tá mal feito que o projeto tá incompleto que a visão de futuro precisa

ser construída né que uma ideia de transformação precisa ser melhor Trabalhada na literatura Camila falou disso a gente chama isso de teoria do programa de modelo lógico ou de teoria da intervenção eh os eventos coletiv dependem muito da prática de facilitação e moderação sim a moderação e a facilitação é fundamental para articulação e cooperação dos grupos funciona melhor como uma análise de viabilidade avaliação exante e como uma meta avaliação no caso da avaliação expost né quer dizer se tem uma avaliação já pronta o guia executivo de avaliação expost é um excelente roteiro de de checagem

eh avaliação executiva que é focada em resultados depende muito de de monitoramento prévio da política quer dizer se não tem dados se os dados não estão minimamente organizados sistematizados disponíveis é muito provável que a avaliação seja pobre seja pouco rica em detalhe seja eh eh eh eh difícil fazer eh eh construir uma reflexão mais profunda sobre os resultados os produtos os impactos do problema então o acesso a dados é fundamental né mas lembrando sempre que a as perguntas de avaliação elas são fundamentais elas vêm antes inclusive da definição das técnicas dos métodos né dos protocolos

dos dispositivos que a gente usa para construir o processo nenhuma avaliação executiva substitui outras formas de avaliação avaliações executivas não são superficiais isso é um outro eh preconceito talvez que a gente criou e que é muito fácil de entender porque esses métodos se espalham muito com muita rapidez eh e talvez de sejam assimilados de uma forma crítica né a avaliação executiva ela não foi feita para resolver problemas de de da ausência de complexidade de outras metodologias ou de outros programas ela foi feita para atender uma situação muito precisa onde o gestor tem poucos meses ou

pouco tempo para avaliar onde a situação de comparação o t0 né a linha de base é zero não se sabe nada sobre isso e a as avaliações que eu tenho participado desses programas E pelo que eu sei de outros identificam isso pessoal o programa é muito bom mas não tem não se sabe para que que ele foi feito o programa é muito bom mas não se sabe qual é a relação eh de eficiência ou de eficácia dos produtos dos resultados ou qual é a relação dele com a estratégia Geral do Ministério da política pública ou

da secretaria né no caso de vocês então a avaliação executiva ela ajuda a ter esses insights né ter essas descobertas e avaliação não é terapia de grupo mas às vezes funciona também como terapia de grupo quer dizer os grupos começam a se autoconhecer identificar falhas geralmente no campo da comunicação dos relacionamentos isso é fundamental porque o mínimo de confiança as pessoas têm que construir nesses processos porque a a a a literatura fala que a gente tem que combinar avaliação externa né que evita muitos conflitos de interesse com a autoavaliação com métodos mais istas isso é

um pouco terapêutico né porque as pessoas têm que ter inclusive coragem disposição e abertura né emocional para admitir seus próprios erros seus próprios limites e lidar com isso né lidar com as suas fantasias às vezes com as suas eh eh imaginações ou com construções mais simbólicas que são inatingíveis no mundo real né mas também para isso serve esse debate Quais são as conclusões né desse processo primeiro melhor a pergunta de pesquisa o desenho da pergunta antecede a escolha de métodos avaliativos então nenhuma avaliação executiva por mais bem escrita vai resolver o problema se a gente

não sabe o que que a gente quer avaliar Que pergunta a gente quer fazer para aquela realidade específica que a gente tá trabalhando o modelo Lógico que a gente aprende Vê nas análises de políticas públicas né eu tenho problema eu tenho recursos eu tenho processos que engajam esses recursos eu tenho atividades ou ações ou iniciativas eu tenho produtos que essas iniciativas geram criam eu tenho resultados que esses produtos eh proporcionam né e eu tenho Impacto lá nas causas do problema quer dizer esse modelinho Lógico ele ajuda ele ajuda mas ele não não não Explica toda

a realidade sempre vai ter contextos específicos nuances eh visões diferenciadas é preciso ter cuidado com isso né Eh não existe uma teoria do programa ideal isso avaliação bem feita honesta acaba Dizendo para ele olha a vida é um processo de aprendizagem A gente experimenta muitas coisas acerta erra e vai aprendendo não existe um a gente tem que evitar um pouco essas idealizações que muitas vezes a gente constrói como sintoma da da ausência de ferramentas para lidar com a complexidade do mundo porque é assim mesmo né ainda mais num país que tem desigualdades sociais abissais né

com desafios tremendos na área da educação né para não falar de outras e a gente tem que lidar sempre com recursos escassos com dificuldades de priorização com contingenciamento orçamentário etc etc etc então o contexto é muito importante avaliação executiva deve ser parte de uma estratégia avaliativa e não seu substituto imperfeito já falei disso colocar os envolvidos dentro da da avaliação executiva né trabalhar com avaliações mais pluralist mais envolventes que envolvam mais de uma perspectiva e e evidentemente que em função de tudo que eu falei a gente precisa atualizar esses guias executivos porque eles foram feitos

inclusive numa num contexto né aplicando isso que eu tô dizendo aos próprios guias onde o governo federal valorizava muito algumas dimensões ligadas mais a orçamento a controle de gasto Então até os exemplos que os guias usam são muito ligados à contenção de gastos a gente sabe que isso é importante Mas isso não diz toda a complexidade do mundo real então a atualização veio um pouco nesse sentido Então é isso gente obrigado pela atenção de vocês eu deixei aqui como anexo dos slides um conjunto de itens que a literatura traz que são os motivos mais frequentes

eh que explicam Por que as avaliações falham né Por que as avaliações falham então patrocínio da alta direção falta de apoio de quem demanda avaliação falta de clareza nos objetivos da política falta falhas no desenho da da pesquisa de avaliação A pergunta foi mal feita os instrumentos de avaliação foram mal escolhidos né problemas na coleta de dados vieses na análise de dados desconsideração do contexto político e social isso é fundamental inclusive para adaptar as metodologias né falta de envolvimento de participantes Imaginem a comunidade escolar como vamos engajá-lo no processo de avaliação conclusões baseadas em evidências

insuficientes né Especialmente na avaliação de impacto Esse é um risco isso aqui é importante intolerância à informação crítica né Muitas vezes os gestores eles têm medo de um processo avaliativo honesto profundo robusto sincero porque ele vai apontar erros que podem ser interpretados no jogo da política do mundo real como falhas da sua própria gestão Então tem que lidar com isso tem que dialogar com isso né no Brasil a gente tem a péssima tradição de degolar o mensageiro de más notícias né e e por isso que os órgãos de controle T toda uma uma blindagem institucional

legal e política para poder fazer esse trabalho que muitas vezes é delicado mas nós gestores que fizemos avaliação de outros órgãos ou da nossa própria instituição temos que lidar com esse processo então espero que essas essas essas dicas esses esse resumo de experiência ajude vocês no fut a construir boas oficinas de avaliação obrigado bom obrigado aí professor Jackson Deon que também trouxe aí uma perspectiva bem Ampla né do processo avaliativo de todos os desafios e implicações eh eu tenho aqui alguns anotações de aprendizados que eu tive aqui durante essa mesa né que eu em algum

momento poderia compartilhar com vocês porque várias coisas Anes foram foram aqui ditas e colocadas mas é um volume muito grande não é de de informações e ideias mas eu eu vou eh me redimir aqui de de fazer uso da palavra para que a gente possa ouvi-los né para que a gente possa ver questões comentários dúvidas perguntas eh que vocês desejem compartilhar aqui com com os nossos apresentadores é e que é importante que eh vocês possam eh apresentar-se antes eh de fazer suas considerações ou perguntas eh e também falar no microfone para que aqueles que assistem

pelo canal do YouTube possam acompanhar né Eh tem problema não acho que dá pr D eu acho agora tá primeiro Obrigado pelas explanações profess porque com uma dúvida muito forte eh sobre Daniel de Alagoas eu fiquei com uma dúvida muito eh forte na cabeça quando a senhora começou a explicar a diferença entre na metodologia eh do dos indivíduos que não participavam né do de um outro termo específico que você deu a respeito de indivíduos que se eles não participassem como é que seria o impacto da política e um outro uma outra questão uma outra dúvida

que eu gostaria que vocês falassem também um pouco sobre um fenômeno que eu enxergo muito eh nas secretarias municipais e estaduais que é aos poucos a gente perceber a a atuação das fintec né das das das redes de de de instituições eh que chegam às secretarias e e que acabam inclusive produzindo como artifício como diálogo para se inserir nas secretarias para se inserir nas nossas políticas públicas já uma avaliação Inicial dessas políticas né ou seja tal empresa ou tal instituto que já chega nas nas nas secretarias de dizendo Olha o seu o seu clima escolar

ou o seu nível de alfabetização é esse é esse é esse e que acabam produzindo dentro dessas secretarias uma rotina de avaliação que pelo menos a meu ver humilde né deveria pertencer aos próprios técnicos da secretaria aos próprios grupos da secretaria obrigado bom não vejo sinalização de nenhuma outra questão no momento então a Camila pode ir respondendo enquanto outros se apresentam Obrigada Armando eh Daniel Obrigada eh eu acho que eu vou aproveitar para falar um pouquinho mais da palavra que é contrafactual se eu não me engando eh eu acho que esse é o principal ponto

do que que é uma avaliação de impacto avaliação de pacto é simplesmente simplesmente não mas é é uma forma eh de tentar encontrar a melhor metodologia que vai fazer com que eu recupere esse contrafactual esse contrafactual é uma situação imaginária ela não existe não é possível da gente recuperar que seria o participante o aluno a escola o que seja eh que recebeu o programa como que ele estaria naquele mesmo momento do tempo se ele não tivesse recebido então sei lá na tua secretaria em Alagoas vocês publicaram um programa de ensino no contraturno de matemática para

terceiro ano eh eu vou querer saber como que os alunos de Alagoas estariam no terceiro ano se eles tivessem recebido o que aconteceu vamos dizer e se eles não tivessem só que se eles receberam eu não tenho como saber como eles estariam naquele mesmo momento se eles tivessem recebido então a ideia que é essa ideia do contrafactual é eu espelhar como que é que aquele menino aquele grupo de estudantes estaria numa situação imaginária que tudo seria igual exceto o meu programa Isso é uma busca que a gente nunca vai conseguir atingi-la perfeitamente e o que

as metodologias tentam fazer é chegar o mais próximo possível disso e acho que aí que tá o X da questão é muito difícil a gente chegar o mais próximo possível seja porque o padrão ouro que é autorização é muito difícil de ser implementado na política pública seja Porque mesmo quando eu fao ação lei autorizada Eu já estive em vários processos desse coisas acontecem a gente não consegue segurar o processo direitinho até o final a gente não tá falando de experimento em laboratório a gente tá falando de gente e aí não vai ficar tão perfeitinho então

mesmo a avaliação mais eh bonita organizada super preparada vai ter problemas então eu nunca vou conseguir recuperar Como que o João Paulo que nasceu em macoo estaria com ou sem o programa ao final do terceiro ano dele isso eu não vou conseguir eu vou ter aproximações sucessivas aproximações melhores ou piores desse contrafactual E aí o que é importante acho que de ficar na cabeça é que os diferentes métodos eles vão criando grupos de comparação que tentam ser esse contrafactual mas eles não são esse que é a questão E aí o grupo de comparação vai ser

melhor a depender vai ser melhor ou pior a depender do método que foi usado mas eu acho que tem uma ideia muito forte que é importante de vocês estarem na cabeça é que o método não pode ser definido sem alguém parar e olhar de fato paraa situação para implementação do programa eh quem chega com método pronto eh pode ter alguma questão aí é importante para a a identificar o método depende da identificação de como teu programa tá rodando de como teu programa tá sendo implementado de quem que tá entrando naquele programa isso vai depender de

muita conversa acho que esse ponto eh O Jackson falou né que a avaliação não deveria ser uma terapia mas acaba podendo ser acho que mesmo no processo de avaliação de impacto que às vezes a interação é menor um processo de avaliação é um processo que vai que se bem feito vai levar a reflexão se ele não tá levando a reflexão tem alguma pecinha faltando aí e aí eu vou falar bem rapidinho sobre teu ponto você trouxe no final né exemplos de avaliação de clima e De proficiência acho não foi exatamente proficiência que você usou eh

eu eu acho que assim informações dados e avaliações desse tipo são eh inputs importantes pro gestor conseguir avaliar a sua política mas o que acho que o meu ponto e avaliação de impacto é para avaliar uma política um programa ela nunca é ela vai usar o dado De proficiência ela vai usar o dado de clima escolar mas ela tem ela vai além disso ela tá querendo saber se aquela política pública se aquela ação se aquela iniciativa tá sendo de fato efetiva e eu acho que esse esse é o ponto importante E aí eu acho que

eu vou fechar falando de processo ativa e juntando com o ponto que que o Jackson traz se isso não for feito em conjunto com o gestor E aí Jackson traz um ponto muito importante sempre na fala dele em conjunto com os outros stakeholders aprende-se muito pouco e aí é aquele meu conceito lá do início avaliação funciona se se tá servindo para aperfeiçoar para aprimorar acho que é isso ali na na mesa e também ali na mais atrás um pouquinho temos ali duas perguntas Boa tarde Boa tarde é na verdade assim eu fiquei atento a às

Exposições né Queria sublinhar assim a a relevância da do tema eu fiquei um pouco assim num conflito quando ouvindo vocês eu veio a memória fala da nossa secretária Cátia né quando ela fala que a gente precisa controlar a nossa ansiedade eh no sentido de que quando a gente vê e a importância do impacto de política quando a gente pensa em fazer esse esse ter esse olhar para os impactos da política e aí quando a gente traz isso pro campo da educação porque quando a gente pensa no Impacto que a gente busca com o programa vamos

pegar o compromisso nacional ou os programas locais que nós temos e o que ele se propõe a fazer é que todas as crianças estejam lendo escrevendo adequadamente que se expressem oralmente que consigam argumentar que tenham domínio e conhecimentos básicos de matemática que ganhem autonomia e que se desenvolvam enquanto crianças e adolescentes que ten experiências prazerosas de aprendizagem quando a gente olha toda essa esse Impacto que o programa se propõe além também de termos professores gestores e escolas é que façam brilhar os olhos de nossas crianças que despertem a criatividade e esperta também o interesse em

aprender Esse é o impacto que a gente busca né E aí eu falo como saber o momento certo de fazer uma avaliação de impacto ou se o meu medo é se existe um momento que a gente antecipa demais uma avaliação de de de impacto quando na verdade a gente deveria estar fazendo um monitoramento eh correndo o risco né sobre sobre o risco de de repente condenar ou derreter uma política em função de um momento de um time de procurar Impacto quando a gente fala de uma política que a educação não é como virar Aliás a

educação é como virar um Boeing 747 no ar nãoé você não faz uma curva de 90 Então como controlar essa ansiedade numa política é de que é de médio e longo prazo que os impactos não são mensuráveis de um dia pro outro e que momento cabe avaliação de impacto de fato de de forma que ela eh seja luz e não calor e eu até falei na reunião anteriormente que se é calor ela derrete então assim ela precisa pra ser uma avaliação que Produza luz e e aponte para alguma direção a pergunta é essa avaliação de

impacto monitoramento corre-se o risco de se antecipar uma avaliação no momento eu diria equivocado E aí comprometer a política Essa é pergunta Saulo eh Espírito Santo e eu vou sugerir da gente escutar outra pergunta pra gente a gente já tá caminhando para 3:30 E aí a gente deixa os últimos 5 minutos aí para as suas respostas e considerações aqui dos participantes tá certo boa tarde eu sou a Milka da Sec do Rio Grande do Norte e o meu questionamento é que eu percebo que o processo de avaliação do ciclo da política ela é muito próprio

da Arc bolso acadêmico considerando que exige um certo Rigor científico metodológico e o meu questionamento é na Perão na perspectiva de vocês sobretudo considerando os governos subnacionais Quais são as principais limitações que esses entes enfrentam Para incorporar no Exercício das suas práticas o processo de avaliação do ciclo da política como um todo considerando a necessidade dessa exigência científica teórica metodológica Tem mais alguém inscrito aqui eh Então eu vou passar aqui Aos aos sim Jon comentários sim comentários e despedida ah Espero ser convidado ainda para outros eventos no futuro eh sim a colega do Espírito Santo

falou H toda a avaliação seja qual for né como um processo que envolve gente gasto de energia tempo ET precisa ser planejada né precisa precisa H planejar avaliação no seguinte sentido ela é necessária ela é oportuna como é que a gente vai fazer quem vai ser mobilizado Qual é o tempo disponível e lembrando sempre que o contexto influencia muito o resultado da avaliação contexto em que ela é feita em que ela é organizada as pessoas as instituições que ela envolve e a relação com monitoramento é fundamental né eu vejo isso quando a gente avalia seja

avaliações de de resultado avaliação de impacto mais ainda Programas ou projetos que não foram monitorados ou que foram desenhados sem características que propiciassem o devido monitoramento né a gente pode até falar numa palavra meio estranha tem programas que são imonitor im monitoráveis porque não pensaram em indicadores não definiram problemas não definiram estruturas para isso não definiram eh processos internos que propiciassem o monitoramento que é do monitoramento que os dados vão emergir qualitativos ou quantitativos então isso é fundamental sem um bom monitoramento a gente compromete a avaliação seja qual for e em relação a colega do

Rio Grande do Norte que colocou o tema de O que que a gente faz no município né vendo a Camila falar em palavras tão difíceis né Eh com conhecimentos acadêmicos estão eu penso o seguinte de forma bem direta e simples é é é melhor fazer alguma aviação do que nenhuma avaliação né então é um processo incremental é um processo processual para ser né repetitivo é algo que precisa ser construído começa devagar vai aumentando vai ganhando apoio vai construindo relações vai estudando a literatura vai formando gente hoje tem muitos cursos de avaliação e materiais disponíveis gratuitamente

vou fazer propaganda aqui pro governo federal a escola virtual de governo a evg da enap tem muitos programas de acesso gratuito né o próprio MEC certamente vai desenvolver o estado desenvolvendo formação nesse sentido e eh eu acho que esse é o Esse é o o caminho tá então Obrigado pela pela oportunidade de discutir com vocês Espero que vocês eh continuem nesse caminho a avaliação é super importante Ainda mais quando ela tá relacionada a um propósito né a um propósito de mudança da realidade de justiça social de mais igualdade de melhoria das condições de vida especialmente

das populações mais pobres do país eu acho que nesse contexto a avaliação é muito útil e importante bate assim Acho que sim eh acho que perguntas super interessantes eh Saulo quando você lê o que que é o impacto né que que é a visão do compromisso Eu acho que isso deixa Claro quando eu falava e depois Jackson também voltou na ideia de modelo lógico de teoria da mudança Esse é o ponto de partida para se conseguir definir quais dimensões se vai olhar né mas eu não tô respondendo sua pergunta ainda mas acho que esse é

um ponto que muitas vezes quando a gente chega começa a avaliar uma política quando a gente tá com Chapeuzinho de avaliador que a gente precisa começar a construir do compromisso já tá claro eh você perguntou se tem o momento certo de fazer uma avaliação de impacto Sim e eu acho que ele varia imensamente depende uma análise de fato do tipo de resultado que eu tô querendo olhar na minha expectativa de quando que aquilo de fato seria modificado e depende de uma análise de contexto que eu acho que é um ponto importante que Jackson trouxe eh

supor que em um ano eu vou conseguir grandes danças pode ser muito cruel pro programa eu acho que você tá super certo nisso e eu vou reforçar o ponto do Jackson monitoramento é essencial eh se botar de pé um bom sistema de monitoramento do momento inicial a possibilidade depois de se conseguir ter avaliações mais robustas é muito maior e se você bota de pé um sistema de monitoramento eh e aqui eu tô dizendo no caso da educação também beber das fontes do INEP beber das contos do próprio MEC mas definir os indicadores se você parte

de uma definição conjunta do que que são os indicadores que eu tô olhando eu acho que assim isso é um assim vários Passos dados mas eu só concordo contigo e queria reforçar isso e e acho que a Milka do Rio Grande do Norte perguntou sobre subnacional né aí eu vou falar um pouquinho aí não da experiência da educação mas até da experiência do próprio espírito santo acho que a gente tem no Brasil eh uma multitude de experiências de sistemas subnacionais mais de avaliação Mais antigo é do Espírito Santo me deu um branco agora de que

ano que é a lei eh mas eu tenho experiências muito interessantes inclusive Os guias de avaliação que o Instituto Jones fez no Espírito Santo São muito legais eh e teve experiências muito interessantes teve experiências lá Minas Gerais tem experiências legais Maranhão tem experiências interessantes então só alguns exemplos eh Não tô dizendo que é trivial eh eu acho que tem uma questão de recursos tem uma questão do tempo da administração pública versus o tempo da avaliação Mas tem bastante gente tentando fazer isso assim é de novo não tô dizendo que é trivial mas eu acho que

é possível e e talvez esse investimento primeiro aí na ideia de de monitoramento é isso muito obrigada eu fico à disposição e só reforçando o ponto do Jackson tem muito material quando eu mandar meu PPT pra Janaína que ela vai compartilhar com vocês eu vou colocar os links Mas tem tanto livro que eu citei várias vezes como alguns cursos c da enap inclusive um curso da enap com JP que é uma organização ligada ao MIT e ao pessoal do premio Nobel que eu mencionava eh mas tem muito material e Os guias da casa civil também

acham aí gostei que o Jackson fez essa provocação que a gente precisa os atualizar que é verdade eh mas eu acho que também são pontos de partida bem importantes muito obrigada Então pessoal assim só não deixar de fazer aqui um um uma frase né de encerramento né Eu acho que as apresentações tanto da Camila quanto do Jackson assim faz uma mensagem muito clara para nós que a avaliação é sobretudo uma prática né como toda a prática ela é evolutiva ela requer aprendizagem ela requer construção de capacidades mas também não precisamos pensar que precisa ser prêmio

nóbel para fazer avaliação Tá certo então Eh todos nós avaliamos a avaliação eh é um processo de julgamento de atribuição de valores né no campo da política pública o que se tenta fazer é agregar né um Rigor metodológico né um um um Rigor científico no processo de avaliação e aquelas instituições secretarias municipais estaduais órgãos públicos estaduais e municipais que já iniciaram esse esforço de avaliação já começaram a sua camin Ada não é e esses espaços aqui que a a Secretaria de Educação Básica proporciona é um espaço pra gente fomentar e alimentar esse eh essa prática

né chamando atenção para vocês de que avaliar a política pública monitorar política pública é muito importante tá certo e portanto que vocês aqui são Pontes importantes de fomento dessa prática eh no no nas instituições e nos Espaços em que vocês atuam Então eu queria M aqui aon a camares e vamos dar a eles Uma salva de palmas em agradecimento reforçamos mais uma vez o nosso agradecimento à professora Camila ao professor Jackson ao Professor Armando também na moderação desse painel pedimos por gentileza se posicionem aqui para um registro fotográfico oficial desse painel mais uma salva de

Palma aos nossos painelistas e agora nós teremos um rápido intervalo para o café uma pausa de 15 minutos em 15 minutos nós estaremos de volta com o nosso próximo painel um ótimo café a todos e até daqui 15 minutos eh é C s chegar m e contr mar qu TR SP e mar da cabea po D TR como atenção senhoras e senhores pedimos por gentileza a todas as pessoas que voltem a ocupar os seus assentos Para darmos continuidade ao nosso evento pedimos por gentileza a todas as pessoas que ainda se encontram no ambiente do Coffe

Break para retornar a seus lugares e assim darmos continuidade ao nosso evento Eu só acho que as pessoas não me ouvem sinais internacionais todo mundo todoo são finais internacionais você nem pra gritar viu aí ó estando ó CR pedimos por gentileza as pessoas que estão chegando agora aqui no nosso espaço que por gentileza Já se acomoda em suas cadeiras Para darmos continuidade ao nosso evento PR Gir qu atenção por gentileza as pessoas que estão retornando agora para o nosso espaço pedimos por gentileza que retomem os seus assentos Para darmos continuidade ao nosso evento antes de

retomarmos Informo que foi localizado esse cartão de hotel por gentileza verifique se é o seu se for pegue conosco o senhoras e senhores muito boa tarde novamente sejam bem-vindos de volta após esse delicioso Coffe Break Esperamos que tenha sido um momento maravilhoso e agora para nós darmos continuidade à nossa programação temos o prazer de anunciar a nossa terceira e última mesa temática cujo tema é avaliação inclusiva E para isso convidamos o Professor Francisco Marques que será o moderador desta mesa Professor Francisco é doutor em Ciência Política pela University College London no Reino Unido Servidor da

carreira de especialista em políticas públicas e gestão governamental e atua como Coordenador Geral de avaliação monitoramento e fortalecimento da política de diversidade na secretaria de educação continuada alfabetização de Jovens e Adultos diversidade e inclusão a secadi do Mec para compor a mesa convidamos A Professora Tatiana Dias diretora de avaliação monitoramento e gestão de informação do Ministério da Igualdade racial convidamos ainda o professor milko majci técnico de planejamento e pesquisa do ipé sejam muito bem-vindos ao nosso palco imediatamente passamos a palavra ao moderador Professor Francisco o senhor está com a palavra Boa tarde a todas e

todos eh sejam eh muito bem-vindos essa terceira e última mesa do nosso seminário eh eu gostaria de eh inicialmente antes de começar né as nossas palestras saudar essa iniciativa porque ela é Por demais oportuna né então saudar a Seb pela pela iniciativa parabenizar a demm parabenizar especialmente né a a equipe da Janaína que esteve à frente da organização do evento eh O tema é mais do que né oportuno e nós hoje vamos né falar aqui a nossa última mesa sobre educação sobre avaliação inclusiva que é um tema muito caro a Cadi né pelos pelos pelas

modalidades os públicos e os temas que a secretaria eh sobre os quais a secretaria tem competência então inicialmente né Assim como nas demais mesas nossas apresentações são de 30 minutos e depois a gente vai abrir para perguntas do público eh serão mais 30 minutos para para esse nosso debate a gente vai começar com a palestra do professor eh do professor eh milko Madia cque né o professor é doutor em economia pelo Unicamp é pesquisador do ipia de carreira atualmente coordeno os estudos sobre educação eh no âmbito do dos objetivos do desenvolvimento eh desenvolvimento sustentáveis odss

e hoje ele vai compartilhar com a gente aqui alguns achados que ele né que que tem eh sido gerado nessas nessas pesquisas que ele tem feito então professor por favor a palavra é sua Alô boa tarde bom antes de tudo agradecer muito o convite né é uma uma honra e uma alegria estar aqui no evento do Ministério da Educação e muito particularmente para falar Eh sobre Pol políticas de avaliação e inclusão dentro da da Educação Básica essa é uma questão muito importante assim nós do ipé estamos sempre muito preocupados com a evolução da política né

com o desenvolvimento do país e o assunto daqui de hoje é completamente incontornável do ponto de vista da promoção do desenvolvimento então é um assunto assim agradecer muito particularmente os esforços aí da Janaína né para facilitar para para nos ajudar em todos os sentidos e agradecer também em nome do ipia esse convite Então vamos lá e ainda está presente aqui com a Tatiana né que desde que eu fui concursado do ipé a gente já começou a trabalhar junto ali né Tatiana agora tá no ministério da Igualdade racial eu permanecia ali na no ipia mas sempre

tivemos assim muita interação também eu acho que pode dar um uma conversa um debate bastante interessante bom feitas essas rápidas apresentações vamos lá e então eu vou usar basicamente nessa uma primeira parte da fala e vou agradecer muito o pessoal aí que diz ó tem tantos minutos acabou tal porque às vezes eu posso ser um pouquinho tagarela Mas enfim eh assim agradecer muito essa essa questão tá e mas assim eu vou usar basicamente a exposição que eu fiz pros ods então para vocês entenderem ods que são os ob obos do desenvolvimento sustentável para quem eventualmente

não conhece que é um acordo que o Brasil assinou com as nações unidas o Brasil e outros e outros não entre perdão 193 países assinou esses acordos e São 17 objetivos do milênio que agora o Brasil Presidente Lula decidiu que existe um 18º que é é relativo à questão racial né então acho que a Tatiana Talvez possa nos falar pelo menos um pouquinho disso aí mais adiante e eu sou responsável pela coordenação do ods4 que é relativo à educação Então qual é um ponto inicial assim pra gente colocar nesse eh eh nesse sentido pera aí

então só para dizer assim então são quais são foram os principais avanços e retrocessos do ods4 e no segundo ponto né O que resta ser feito porque essa agenda termina em 2030 então nós temos uma série de compromissos que nós deverem eh que Nós deveríamos cumprir muito importante tá e a é necessária essa introdução nesse sentido por quê Porque todos os países deveriam adaptar os ods à sua situação então por exemplo existe um tipo de denominação internacional que não é a denominação brasileira que se fala em educação fundamental ensino eh aliás Ensino Fundamental perdão ensino

médio ensino superior assim nesse ponto por exemplo você tem o primário E logo depois seria um tipo de Ensino Médio pensando um pouco do jeito americano que é a Junior High School depois a high school Essa é denominação internacional mais geral não é necessariamente única e olha não tenho certeza acho que não é predominante mas isso para mostrar para vocês que até do ponto de vista de da utilização né dos nomes desse tipo de coisa nós precisávamos fazer adaptação e tem coisas por exemplo foi muito pensado no Brasil a questão assim dear nos povos originários

sim muito importante mas o Brasil tem uma questão da população negra que não é minoritária ela é majoritária como ensino senso e que tá sempre sendo tratada de uma maneira um tanto quanto secundária então tinham várias questões que foram sendo adaptadas Mas a partir do momento que isso foi criado aí um clima de grande estabilidade política uma gravíssima crise econômica fez com que os ods tivessem os resultados que vocês vão ver agora e vamos lá então assim só para mostrar Olha tem muita coisa aqui tem ensino superior e e ensino profissional e técnico vamos deixar

o superior um pouco para lá mas mostrar por exemplo que educação infantil atendia mais ou menos 25% das crianças de 0 a 3 passou a atender em 20 22 perdão 31% muito rapidamente o último ano da pré-escola de 94 foi para 96 no primário foi também de 994 para 98 né o ensino fundamental nos anos iniciais que muitas vezes eu falo primário para acelerar no ensino fundamental nos anos finais o antigo ginásio Bem antigo foi de 84 para 90 pros alunos de 15 e 17 anos e no ensino eh profissional e técnico atendia 3% da

população isso em números um tanto redondos passou a atender 6% então não dá para dizer né que não foi um avanço notável no período dobrou praticamente dobrou mas atender 6% num país desse tamanhão aqui ainda é muito pouquinho sabe Então esse é um ponto assim quer dizer a gente avançou mas nós veremos daqui a pouquinho que a gente não avançou o suficiente e nem avançou o que nós brasileiros queríamos fazer como foi isso em 2018 perdão em Abril e maio tá o ipia foi nomeado né Como o coordenador né nacional dos ods e nós promovemos

reuniões para os 17 ods na época o 18º foi criado agora pelo presidente Lula e assim com o pessoal dos Ministérios o MEC teve muito presente no nosso caso por exemplo a a o Inep teve muito presente teve gente da Ciência e Tecnologia teve gente da própria diplomacia para certas coisas então tinha tinham muitos pontos então nós tínhamos pontos bastante assim fortes radicais a gente foi bastante ambicioso do meu ponto de vista até ambicioso um pouco demais tá acho que sei lá eu sempre lembro um pouco se me permitem a brincadeira né da da da

questão assim do de um seminário que eu fazia assim olhando paraa União Soviética quando eu fazia minha graduação em economia e quando aquele plano não dava certo o sujeito ia fazer planos lá na Sibéria né então era uma coisa muito Severa e eu acho que aqui no Brasil a gente anda de uma maneira um pouco a gente tem que tomar cuidado falar que em 2030 a gente vai chegar com zero de analfabetismo não é que não seja desejável não me entendam mal seria desejável que já não tivesse hoje mas até um país avançadíssimo que às

vezes eu brinco ali no ipé assim um fanático pela educação como a Coreia do Sul tem 1,5 de analfabetos Então são questões difíceis ainda mais o Brasil que é grandão questões rurais eh crianças que nascem com extremas dificuldades de aprendizagem E por aí vai além de uma população idosa que talvez não queira mais digamos assim se instruir então tem tem que tomar um certo cuidado mas essa avaliação ela não adotou ess eh essa coisa de 2018 ela pegou digamos a referência geral que foi feita pelas Nações Unidas então a referência geral ela tinha que olhar

tanto paraa Noruega quanto pro zimbábue quer dizer a é óbvio né que o zimbábue não é muito parecido com a Noruega e o Brasil também não é parecido com os dois Então essa questão foi feita assim então a gente atingiu porque não eram coisas definidas então a ONU dizia nós temos que ter um contingente importante de pessoas numa determinada situação mas o Brasil já tem um contingente importante em tudo então a gente nem precisava começar um ods Então isso é preciso que se retenha um pouco atenção dessa questão crítica olhando paraa infraestrutura nem vou ficar

aqui falando muito de eletricidade abastecimento da água porque são questões antes é claro Evidente mas que já estão praticamente atingidas mas o acesso à internet Principalmente nos anos iniciais vai muito divagar e sempre vem uma sequência de promessas e que até aqui não foram muito cumpridas computador para fins pedagógicos Nós ainda estamos numa situação complicada isso segundo os dados do censo escolar Principalmente nos anos iniciais eu estou vendo os país desenvolvidos discutindo inteligência artificial em em sala de aula a gente não tem nemum computador em sala de aula muitas vezes aqui eu tô falando de

um computador na escola tá então quer dizer nos anos iniciais só 61% das escolas pouquinho mais tem tem computadores para fins pedagógicos fica complicado quer dizer se a gente quer recuperar o nosso atraso em relação ao mundo a gente não vai bem nesse aspecto agora melhorou em compensação melhorou bastante a infraestrutura e para pessoas com deficiência O que é uma coisa muito M louvável eu sou uma pessoa com deficiência embora não pareça assim à primeira vista e certas pequenas coisas facilitam demais a vida da gente então são coisas importantes não é que nada foi feito

que não tem importância mas foi um período muito truncado muito difícil vamos lá bom eu introduzi aqui o que não estava no relatório Nacional voluntário T até vendo a cara da Carolina lá Pronto ele vai falar de avaliação de estudante a Carolina rolon que tá aqui presente trabalhou comigo nesse relatório vem trabalhando nesses anos todos tá então é uma pessoa assim a quem eu me refiro com imensa Constância então para dizer olha pra gente olhar ali no no no final do Ensino Fundamental eh eu ia olhar só matemática mas a caixa tá me atrapalhando um

pouquinho aqui então eu vou olhar o português que vai melhor do que a matemática bom eu vou fazer um esforço aqui com a matemática então o que que nós estamos vendo Nós estamos vendo que no Brasil 37 quer dizer pouco mais de 1 terço dos alunos só Aprendeu o que se esperava aprender em matemática e em língua portuguesa um pouquinho melhor que isso tá E que isso tem tremendas diferenças eu tenho que levantar por exemplo entre mulheres e homens há sempre uma diferença em matemática e língua portuguesa em todo o ocidente normalmente as mulheres TM

nota melhores no idioma pátrio que no nosso caso é a língua portuguesa e os homens T notas melhores pouco melhores também não é uma coisa assim muito radical em matemática mas por exemplo quando nós começamos a olhar aqui para negros e não negros né que nós chamamos aqui as diferenças passam a se tornar muito fortes são diferenças muito marcantes nesse sentido o que que mostra os nossos trabalhos mostrando então tem uma diferença racial não por exemplo os últimos estão mostrando que você tinha uma hierarquia no Brasil que vamos dizer assim era a menina branca o

menino branco a menina negra e o menino negro em termos de notas essa hierarquia já foi revertida com os esforços então agora são as meninas brancas de primeiro lugar negras abaixo depois os meninos brancos e negros Então chegou numa certa realidade assim aqui do ocidente Mas por que que tem essa diferença tem essa diferença porque todo mundo sabe aqui boa parte das pessoas de origem Negra né E quando falamos negros assim pra gente pensar naquela definição de BG estritamente que são pretos e pardos tá estão entre as populações mais pobres em bairros mais distantes com

mais dificuldade de acesso sem sem lugar para estudar nas residências e tudo mais então não existe uma questão como às vezes alguns querem passar que é racial não a questão é social é uma questão social muito dura que está evoluindo está melhorando bastante mas ainda Precisa evoluir bastante e cuja evolução digamos assim ela não foi uma evolução ela foi maior como vocês podem ver entre negros do que não negros porque não negros vocês podem pensar que tem os povos originários e tem mais Os descendentes de asiáticos Mas eles todos somados no passo de 2,5% então

basicamente são as populações brancas que nós estamos falando certo e quando a gente vê ali as notas do pessoal com notas eh muito baixas e baixas e altas nós vemos notas assim uma grande diferença porém com um detalhe mesmo quem está nas categorias socioeconômicas mais elevadas tem notas baixas não está bom de um ponto de vista internacional então isso não estava no relatório Nacional voluntário mas eu trouxe pra discussão aqui porque me parece que tem tudo a ver com os grandes debates que estão sendo colocados aqui vamos lá aqui bom passar muito rapidamente quer dizer

a mesma coisa para ensino médio também uma evolução que não foi desimportante mas muito menor do que nós gostaríamos que fosse naquelas nossas reuniões de 2018 tá e digamos assim aqui a proporção de professores com formação adequada Esse é um ponto importante muitas vezes principalmente no Fundamental 2 e no ensino médio você tem um professor de geografia F dando matemática Talvez eu esteja pegando um exemplo lá do ipé ali né Carolina vai ir não é um exemplo tão normal mas tá acontecendo isso quer dizer puxa a vida você precisa ter o professor de matemática o

Brasil está com seríssimas deficiências desse ponto de vista e nada contra a geografia muito pelo contrário num país grandão como o nosso é muitíssimo importante conhecer geografia e também tem algumas dificuldades nós estamos fazendo algumas pesquisas a Carolina mesmo tá comandando uma pesquisa sobre o ensino médio né E sobre o ensino integral no ensino médio Então teve professor que nos falou pois é agora tem uma grande ênfase em matemática e língua portuguesa isso num estado importante que vai bem que é destaque em educação mas que eu não posso divulgar aqui e o professor dizia olha

Pois é chegou o aluno aqui no ensino médio ele não sabe que Brasília é a capital do Brasil Então tem coisas assim desse tipo que estão acontecendo que são graves e que nós temos que reter a nossa atenção desse ponto de vista e novamente quer dizer por exemplo uma outra questão parece que vai razoavelmente bem pra educação infantil e pro Ensino Fundamental nos anos iniciais mas isso vocês ainda estão considerando professores com ensino médio lidar com criança pequena é extremamente difícil muito complicado teria que ser uma área de grande valorização e de um ponto de

vista de uma percepção social ainda não existe essa valorização então quer dizer mesmo aqui do jeito que a gente tá olhando que parece bom nem sempre é tão bom assim vamos seguir tá então Quais são os desafios pro Brasil avançar no ods4 ou seja nos objetivos ah os desafios são todos assim eu olho para esse gráfico com desânimo danado assim mas não a gente tá aqui a gente tem que resolver essa questão é o nosso dever é o dever da nossa geração tratar dessas questões entregar paraas gerações seguintes uma assim algo que eles possam partir

e fazer um pouco melhor então meu desânimo não cabe mas assim por exemplo matrícula em creche tudo olha o que tá vamos dizer em azul ou roxo minha vista não ajuda muito acho que é roxo né Eh o que é o que tá em roxo foi o que aconteceu até 2022 e o que tá em verde é o que precisa acontecer até 2030 e olha acho que só tem um ponto aqui ó que que é nas matrículas do Ensino profissionalizante e técnico tá que aconteceu bem mais coisa digamos assim no no período até 22 do

que precisaria acontecer pelo que nós planejamos em 2030 e tem coisas muito importantes por exemplo formação de professores do Ensino Médio é uma coisa que tem que melhorar barbaramente eh formação de professores do fundamental do mesma coisa tá eh b não vou falar de ensino superior matrículas no ensino médio não é que não houve um esforço houve um esforço e houve um esforço importante mas precisa acontecer bem mais não tô dizendo que nós não estamos fazendo eu acho que o pé de meia é uma Esperança Vamos ver acho que outras pessoas aqui outras mesas estavam

colocando não dá para fazer avaliação de impacto tão cedo provavelmente não nessa gestão governamental quero ver ainda como é que vai ser isso aí mas me parece uma iniciativa muito importante muito sábia do ponto de vista de governo fazer esse tipo de coisa matrículas na pré-escola não tem tanto para avaliar mas creches ainda precisa crescer não é que cresceu pouco mas precisa crescer muito a creche de um ponto de vista social eu sou uma pessoa que trabalha com educação mas já trabalhei com ência trabalho muito paraa questão social como um todo assim ao longo da

da aí da dessa minha carreira né principalmente após o doutorado e e o que nós podemos ver como é que a situação social melhora na família se não existe creche principalmente naquelas famílias mais pobres que não raro são famílias monoparentais e nada raro também são monoparentais com mães negras como é que essas pessoas podem ter uma condição de rendimento melhor na casa se elas não tem com quem deixar os seus filhos Principalmente seus filhos pequenos sabe eu moro aqui em bairro Bom de Brasília eu vejo padarias boas tá lugares chiques entre aspas aqui em Brasília

que demitem a mulher logo depois que ela voltou do seu eh auxílio maternidade São coisas terríveis que nós viamos aqui a nossa sociedade precisa mudar como um todo então quando olha eu tava olhando muito aí a questão de avaliação que vocês estava falando e vou colocar um um pequeno parêntese nesse aspecto aqui sabe no Brasil a gente precisa olhar muito quando vai fazer avaliação as condições externas muitas vezes uma escola Faz um esforço grande importante gigantesco mas o bairro tá submetido a uma questão terrível uma questão social de violência tudo você imaginar que aquela criança

tá estimulada ou concentrada para seguir aulas é quase assim uma questão assim perdão fictícia e olha por mais que o Ministério da Educação trabalhe bem as secretarias de educação trabalhem bem todas essas coordenações trabalhem eh assim como são as que estiverem aqui presentes estão muito bem elas também não têm condições de ultrapassar esses pontos então quando vai se tomar decisões é preciso que se tome decisões com uma informação muito clara no fundo no fundo aquilo que os nossos orientadores sempre nos ensinaram qualquer avaliação tudo que nós estamos fazendo que isso aqui não deixa de ser

uma forma de avaliação olhar PR os ods assim é fazer as perguntas corretas também e isso nem sempre é muito fácil o Brasil é muito diverso é muito grande eu venho de São Paulo por exemplo que é um tipo de situação eu tive recentemente no Piauí não conhecia eu imaginei que seria a África já tinha ido à África antes do Piauí não não é de jeito nenhum não é de jeito nenhum a África tá o Piauí tem é um estado que tem questões assim muito interessantes inclusive para ensinar no Brasil ensinar ao Brasil agora também

não é São Paulo mas tem questões assim do ponto de vista da educação que você vê coisas excepcionais que ali ocorrem e coisas muito difíceis que ocorrem por ali também é um estado bem achei um estado bem interessante pra gente pensar no Brasil Então esse é um ponto importante aqui como Último Ponto Eu acho que pelo menos é meu último ponto aqui é a evolução que ainda precisa acontecer quer dizer o que a gente estava falando ali a gente pode ser mais rápido então o acesso à internet Principalmente nos anos iniciais precisa melhorar muito o

computador para fins pedagógicos mais ainda a infraestrutura para pessoas com deficiência avançou tão bem que se avançar mais ou menos nesse ritmo até que nós ficamos bem então nós temos algumas coisas das quais nos orgulhar talvez alguns de vocês digam ó Professor bacana o senhor colocar isso aqui na sua tabela mas o que a gente vê na minha escola ou nas escolas aqui não é bem isso tá é um acesso que pessoa põe uma rampa lá e acha que já tá tudo resolvido e na verdade aquela rampa uma pessoa cadeirante não vai conseguir mesmo que

bote um motorzinho ali conseguir subir aquela rampa então tem coisas desse tipo também assim não é fácil é muito complicado mas assim então ainda não é o Muito obrigado não então aí pensar algumas coisas aí quer dizer o que que tá acontecendo Eu acho que esse seminário eu não posso dizer o que a gente aprendi quando eu trabalhei com a auditoria que foi meu primeiro emprego porque seria a falta de educação que a a gente falava ali entre a gente mas ele acerta na mosca num problema fundamental Não só pra educação como no Brasil que

é monitorar e avaliar é uma questão que é falha no Brasil tava conversando com a Carolina agora há pouco n dizendo minha mãe deu aula como professora no município de São Paulo durante 8 anos aí ela era nutricionista também cansou resolveu ganhar melhor mas assim enquanto eu era pequenininho ela foi professora ela me falou olha milco nos 8 anos que eu fui professora não apareceu nenhuma pessoa isso nos anos 70 É verdade para avaliar a nossa escola e nesse mesmo período eu fui para uma escola Francesa em São Paulo meu pai tinha uma uma boa

condição financeira me mandou para uma escola francesa que para mim era paga Era bastante cara pros franceses era uma escola do estado então eu tava numa escola do estado francês nesse período de 7 anos apareceram três pessoas vindas da França para avaliar professores em sala de aula e o funcionamento da escola então é uma questão profunda ente diferente então que eu vejo assim como grande acerto que tá sendo feito aqui agora dentro nessa nossa pesquisa nós somos a Sobral e é uma coisa que me chamou muito atenção aí diziam puxa eles puseram uma professora de

e resolveu ir lá pra sala de aula e sentou lá no fundão para ver se pelo menos os alunos fazem menos para resolver isso aqui um microfone caixa de som e a partir daí ó os resultados decolaram com uma professora que era muito boa então são essas questões a gente tá muito pensando de um ponto de vista Federal mas eu nunca esqueci que isso aqui tem dimensões continentais eh esse meu nome assim nada brasileiro que vocês perceberam né chega em qu Brasil né do governo brasileiro Ia conhecer as políticas Então acho que era política sobre

combate à fome política de saúde e tal e também queriam conhecer política sobre o que é que tava sendo feito no país Já tem uns um tempo foi logo quando eu entrei no no ipé tem uns deve ter uns eu tenho 14 anos no ipé Então deve ter uns 10 anos atrás e aí Eh aí me chamaram para falar sobre a política de igualdade racial lá vou eu toda né Toda me me achando lá e falando sobre as políticas Ah tá e nós é a partir de 2003 nós aprovamos a lei que vocês conhecem a

10639 que fala da história do negro e da África obriga né Eh torna obrigatório o ensino da história do negro da da África e tal e a E eu achando que tava abafando E aí tinha uma uma gestora da África do Sul que ficou assim me olhando eu falei meu Deus será que ela tá entendendo meu inglês eu será né meu tô tentando ali né dando todo botando todo meu inglês para jogo será que é isso que ela tava me olhando assim aí ao final que eu terminei minha exposição e falei da 10.639 Ela me

perguntou assim e antes vocês estudavam o quê eu procurei um buraquinho para me enfiar então é É exatamente sobre isso né então a gente O que que a gente como é que a gente tá não apenas incluindo mas também pensando nessa nesse monitoramento e nessa avaliação a partir dessas dessas perspectivas né do que a gente precisa efetivamente pra Equidade tanto em termos de redistribuição de espaços né de acesso de cobertura Mas também de reconhecimento e isso cabe também na avaliação e tem estratégias eu tô aqui falando com o colega da secad que tá aqui para

ir né fazendo colocando isso em campo um outro elemento nos desafios da Equidade é a visibilidade né estatística os dados desagregados isso mesmo que a gente se né esteja muito convencido muito e convencidas muito entusiasmados em fazer isso eh eu preciso que esses dados sejam eh eh tenham visibilidade eles sejam desagregados a gente tem um trabalho muito importante dentro eh do governo brasileiro como eu falei né no Inep no IBGE mas é preciso que a gente também tenha esse cuidado nas nossas atividades nos nossos outros programas também não apenas nas pesquisas né administrativas como Censo

eh escolar como as pesquisas domiciliares também no IBGE mas também nos registros administrativos eu tô avaliando na minhas no no acesso aos meus programas de capacitação aos meus programas de de eh de gestão as atividades que a gente desenvolve em outros âmbitos da educação também nos nossos registros também essa Perspectiva da desigualdade né então é um uma um outro elemento Fundamental e um outro então não basta coletar o dado primeiro é importante eu teu teu dado teu quesito que isso esteja presente né tanto o quesito coro coro raça e outros que possam eh dar visibilidade

aos diferentes públicos e aos diferentes níveis de acesso e de acesso de qualidade mas também utilizar essas informações para reverter os processos de desigualdade e abrir essa caixinha que nos leva aquele gráfico ali que a gente eh que eu mostrei Antes de a gente ter sempre um padrão persistente de desigualdades eh eu fico eu às vezes fico brincando dizendo brincando entre aspas né dizendo que muitas vezes a as áreas elas avançam nos diagnósticos Então você vai ter lá na lá eh mostrando num apresentação de uma política pública de um projeto num relatório também de avaliação

as desigualdades de gênero as desigualdade de raça e isso fica na página dois quando chegou na página três minha política vai ficar igualzinho não mudou nada né nada e é é é alterado a partir do uso daquelas informações então é uma perspectiva que a gente precisa avançar também em termos da Equidade aqui eu trouxe né o a Pai Nosso pul Vigário a nove a a a falando sobre o artigo 26 a né dos estudos esse que eu me fui fui falar lá toda animada para pra colega da Africa do Sul então que já estabelece aqui

a gente já tem Marcos para avançar eem Marcos importantes né no no na nas nossas normativas eh para avançar nesses elementos eh e nesses desafios Equidade que eu tinha colocado como a a o artigo 26 a da LDB ou o próprio Estatuto da Igualdade racial que tem uma sessão específica eh de educação que vai vai reforçar a obrigatoriedade do estudo da história geral da África da população negra que vai dar uns 8 minutos eu acho do que me me resta sobre as políticas no segundo tópico das do monitoramento e avaliação das políticas de igualdade racial

eh para isso né já que temos esse esse reconhecimento essa eh né reconhecemos esse desafios e a importância do enfrentamento à desigualdades já temos uma série de Marcos né já trouxe dois aqui mas poderia ter outros e outros e outros eh quando eu vou falar monitoramento e avaliação nas políticas de igualdade racial O que são políticas de igualdade racial que que são políticas de promoção da Igualdade racial são são as políticas que estão no no ministério da Igualdade racial não essas estão Claras né Eh mas ess toda como a gente eh costuma dizer política de

igualdade que de que pode promover igualdade racial são todas as políticas tanto que pode promover como muitas acabam reforçando as desigualdade então pensar monitoramento e avaliação dessas políticas ela tem que trabalhar com essas duas perspectivas Como eu posso promover eh um resultado de sociedade mais eh equitativas A partir dessa política pública né e e como eu posso evitar que essa política Gere mais desigualdades Inclusive a próprias políticas voltadas como é uma linha que a gente trabalha no pé voltadas pra própria igualdade muitas vezes acaba reproduzindo as desigualdad na ponta eh bom então e é para

isso a gente precisa ter esse convencimento né da Igualdade que a igualdade racial ela é um problema público um problema do de governos e um problema de todos e todas ele precisa ser Concebida dessa forma ele é um problema da política de saúde ele é um problema da política de habitação ele é um problema da política de educação ele é um problema da política de Educação Básica e ele é um problema da política de alfabetização e é um problema da minha escola é um problema da minha da minha coordenação também e especialmente pensando isso a

partir da interseccionalidade e da transversalidade então eh a interseccionalidade né que tem sido um termo também muito eh ela vai ela vai ele quer nos dizer que os esses indivíduos que são eh estão participando dos sistemas educacionais trazendo aqui para o foco eles são atravessados por múltiplas eh realidades múltiplas experiências ele não é só um um uma criança ele não não é só uma um uma pessoa que vive na região Rural ele não só não é só uma mulher é uma uma mulher negro ele é tudo as vezes isso ao mesmo tempo e como é

que essa política vai pensar a sua atuação a partir desse dessa complexidade eh também pensando na transversalidade Então como é que a gente faz essa política ser transversal como esses elementos da interseccionalidade eles perpassaram por todas essas políticas falando a partir da perspectiva do de um órgão né de promoção da Igualdade racial A Gente Tem trabalhado muito nessa Perspectiva da transversalidade pensado junto comos diversos parceiros né como o o MEC como a planejamento como outras áreas de como construir e focando aqui na área de monitoramento e avaliação com como construir essas competências e avançar com

com essas competências na própria política que tá sendo colocada por quê Porque esse compromisso em avaliar a partir da ele não pode ser um compromisso só do do ministério ele tem que ser um compromisso de todas as áreas finalísticas a gente eh lançou eh no ano passado no ministério o Hub da Igualdade racial que que é esse Hub da Igualdade racial acho que é uma síntese do que a gente tem trabalhada a partir da transversalidade a gente simplesmente pegou eh links né para várias plataformas que desagregam dados sobre a questão racial e com e concentr

ou esses links e essas PL eh eh acessa essas plataformas num numa única plataforma que é o Hub da ADE racial E aí é porque muita muito do que era feito que é feito né em várias é trazer esses dados Olha eu quero trabalhar sobre a educação vou pegar todos os dados lá do senso eu vou pegar todos os dados que estão lá do imge vou trazer vou rodar né esses dados dentro da minha instituição e vou apresentar lá um para uma plataforma um binai e tal tal tal só que quando eh a gente tem

cooperado muito por exemplo com o ministério também da do Desenvolvimento Social e alguns dados que eles usam para no nos Cis por exemplo né no centro de referência da assistência social e a gente diz assim olha quando a assistência social ou alguém ligado à assistência social ou ligado à educação quiser saber informações eh sobre políticas sobre determinadas a áreas de atividades a partir do vij racial ele não né Eh ele não vai olhar eh no no no ministério ele vai olhar nos instrumentos de avaliação de monitoramento de acompanhamento das políticas das suas próprias políticas né

das sãoas próprias políticas então a gente precisa que essa transversalidade seja feito junto com o a a os parceiros junto com as áreas finalísticas né então junto com a educação que esse olhar ele não surja separado né aqui eu vou fazer o monitoramento e avaliação e depois da Igualdade né sobre negro e sobre pessoas com deficiência eu preciso pensar que o meu monitoramento e a minha valiação ela só vai ser eficaz né ela só vai vai ser completa abrangente se esses olhares estiverem eh transversalizar então na nossa perspectiva a gente tem tentar trabalhar junto com

os parceiros para alterar a essas informações na origem dessas informações né Por por um Acho que fundamentalmente por isso E também porque muita isso ajuda a gente institucionalizar a política independente dos ciclos de governo a gente possa est sempre com estruturas de avaliação de monitoramento de dados construídas dentro da política não ao lado não como eh anexo da política mas que a política ela seja ela seja transversaliza seu sentido passe por eu ter esse nível de informação bom gente eu teria tenho outras questões aqui para para falar depois eu passo a apresentação toda meu tempo

esgotou Mas eu achei que era era principal eu trazer um pouco mais desses elementos Eu acho que eu tem 2 minutos só para eu falar um pouquinho só da das ações apresentar aqui um pouco das ações do do do ministério então Eh nesse sentido falar um pouco né dentro da nossa eh Diretoria O que é que a gente tem feito é o Hub da Igualdade racial como eu falei a gente também trabalhar com a ideia de painéis né então tem um painel aqui do sinapir que vai trazer dados sobre população negra vai fornecer naquela perspectiva

de a gente entregar ao gestor informações lá sobre seu município dado sobre a Monique estadi né do ibg que traz informações sobre governança de igualdade racial e sobre outros elementos também a gente tem trabalhado com parcerias para produção de dados indicadores junto com IP com a enap com a própria com o IBGE criando agora eh um bloco específico nessa pesquisa que V em todos os governos estaduais e municipais sobre igualdade racial então vocês também que estão né Se tiverem acesso às prefeituras governo estaduais recebam bem os os entrevistadores para que a gente tenha um ótimo

retrato sobre as políticas igualdade racial trabalhando com fomentos a estudos e pesquisas também que avancem na avaliação e no monitoramento dessas políticas atualmente a gente tá com dois editais abertos um do programa Rede antirracista voltado para as Universidades institutos Federais e outro com o CNPQ para apoio a projetos de pesquisa e eventos um um outro elemento fundamental desse de todo esse monitoramento dessa dinâmica é o monitorar o orçamento né então a gente tem eh eh colaborado eh com o Ministério do planejamento com o o agenda transversal de igualdade racial localizando em todo o governo Quais

são as ações voltadas paraa promoção da específicas e indiretas né voltadas paraa promoção da Igualdade racial outras plataformas aqui inclusive como o o milcon eh trouxe também o ods 18 que é o objetivo lançado pelo presidente eh Lula de forma voluntária pelo governo brasileiro para a promoção da Igualdade eh étnico-racial que tem uma uma meta voltada para igualdade na educação para povos indígenas e a população afrodescendente e aqui só para finalizar chamar atenção para esses documentos orientadores então quando eu falei também sobre avaliação de processo que além do número eh dos indicadores que são fundamentais

e que a gente tem trabalhado também nesses painéis e nessas estratégias A Gente Tem trabalhado com avaliações eh de instrumentos de política pública de processos para identificar Quais são esses gargalos de Equidade nas políticas e aí trabalhar com documentos orientadores para gestores né dentro do sistema de igualdade racial de como eles eh eh não só implementarem políticas que consigam avançar para aqueles Eh esses desafios mas também eh trabalhar de forma transversal dentro dos governos locais né então Eh junto com a educação junto com a saúde Então e o objetivo também dessas avaliações é gerar esses

esses instrumentos orientadores para aprimorar a gestão também eh na ponta então gente muito obrigada Desculpa aí passei um pouquinho do tempo e agradecer a oportunidade aqui de estar nesse diálogo aqui com vocês obrigada obrigado Tatiana eh bom em 30 minutos como né tanto os pontos fundamentais que a gente eh que você tocou né Eh e sempre eh esse fic o alerta né pra gente sempre levar em consideração de forma absolutamente crucial a questão da da promoção da Equidade racial nas nossas políticas né Eu acho que eu acho não eh Com certeza lá no mec isso

é um o nosso teste assim do do pescoço a gente faz ele diariamente eh é o que eu vejo por exemplo na nossa relação secadi e Seb eh a Seb com suas políticas de digamos eh universais eh e sempre há o esforço de da gente sair das nossas caixinhas né da gente sair do segundo andar lá do do do ministério eles saíram do quinto e a gente se encontrar e falar olha e as modalidades da Cadi estão aqui os públicos eh tão aqui eh então a gente faz esse esse esforço cotidianamente Eu acho que isso

é um é uma preocupação obviamente da secretária Zara da Cadi Mas também da Cátia da secretária Cátia então Eh esse esse esse teste do pescoço a gente a é um exercício que a gente faz diariamente e não pode deixar de fazê-lo eh eu agora quanto tempo a gente tem para para só pra gente organizar Aqui o nosso Vamos fazer uma rodada de de de três perguntas Pode ser aí eu ia pedir para quem quem quem fizer pergunta se apresente e diga eh de onde vem por favor Boa tarde a todas e a todos e meu

nome é William Melo eu sou do Rio de Janeiro eh sou sou pesquisador e professor eh em educação especificamente olhando paraa distribuição de oportunidades educacionais especificamente ainda mais olhando para estudos de relações étnico-raciais e tô eh começando a integrar a equipe de coordenação do programa na pé de meia eh então tô nessa semana numa ambientação Inicial entendendo todo o processo de construção do programa e aprendendo bastante tudo aquilo que pode me ajudar a a participar desse processo de de de fluxo de execução do programa pad meia eh e aí eu queria primeiro agradecer pela possibilidade

de ouvir vocês É uma honra est aqui eh no mec eh aprendendo mais sobre avaliação de impacto sobre monitoramento sobre avaliação e tendo o o assunto da relações das relações étnico-raciais cada vez mais como foco Eh quero agradecer a oportunidade de te ver nesse lugar Professora Tatiana eh porque representatividade é extremamente importante acho que toda pessoa Preta tá muito acostumada a fazer o teste do pescoço em todos os lugares que vai a gente tá acostumado a contar na mão é o número de pessoas negras que estão ali então fico muito feliz de te ver nesse

espaço muito Aché para esse lugar de gestão eh porque eu quero ver cada vez mais eh mulheres parecidas com a minha mãe em lugar e de gestão sabe então obrigado por estar nesse lugar e estamos junto nisso eh e aí eu queria eh colocar né reforçar o que já foi falado aqui e que eu acho que todo mundo já tá bastante ambientado com essa discussão Por conta desses dois jeitos seminário e também eh todas as formações de cada um que a desigualdade racial no Brasil é persistente né Acho que qualquer estudo que a gente olha

que faz um monitoramento ao longo do tempo de desempenho médio em língua portuguesa em matemática eh de desigualdade Média a gente observa que essa desigualdade é extremamente persistente eh e quando a gente fala de desigualdade racial acho que é importante a gente reforçar eh que a gente tá falando de dois elementos aí a gente tá falando do racismo estrutural já Que raça é extremamente relacionada com origem social como o professor mico colocou eh mas ao mesmo tempo a gente tem que olhar paraa independência da raça né do certo grau de independência então a desigualdade racial

ela existe por conta do racismo estrutural mas também por conta do racismo institucional né por conta de processo subjacente as ações educacionais as políticas educacionais eh que acabam gerando também essa desigualdade quando a gente olha para qualquer estudo né que tende a controlar a origem social que consegue comparar estudantes de nível socioeconômico parecido porém que variam em raça a gente vê diferença né então eu queria reforçar essa questão o quanto que a desigualdade racial ela tem esses dois modos de operação o modo estrutural eh via nível socioeconômico etc e o e o modo institucional via

interações via discriminação Então na verdade a minha falha é mais um comentário pra gente tentar pensar agora por final em desenvolvimento progressivo de mecanismos de coleta eh de conceitos que sejam subjacentes à raça por exemplo autoestima né então a autoestima do aluno negro importa a saúde mental do aluno negro importa todas essas questões para além da origem social elas importam e elas provavelmente afetam o aprendizado né então eu acho que a gente precisa cada vez mais desenvolver ferramentas de medida instrumentos de medida que consigam desagregar um pouco mais eh a possíveis motivos da Man manifestação

da desigualdade racial para que a gente Olhe que existe o elemento da estrutura mas também existe o o elemento da produção de da promoção de saúde mental da população negra da promoção eh de habilidades socioemocionais da população negra né de estrutura e condições individuais para estar no sistema educacional e ter sucesso eh no no sistema educacional então é mais um comentário e um agradecimento para que a gente possa avançar nesse debate reconhecendo de uma vez por todas que as desigualdades raciais não são apenas por conta das desigualdades sociais que elas têm um grau de independência

e como que a gente pode desenvolver mecanismos para entender processos subjacentes da raça especificamente obrigado gente obrigado Andrea Carla Aracaju Sergipe Nordeste Professor Milton eu sou pesquisadora de universidade e também trabalho na secretaria sempre vimos chegar políticas públicas quando você falou da internet nós sabemos que a faixa Litorânea é a faixa da internet quando você entra para o Brasil né você não tem essa internet tão grande então a minha pergunta assim nós já temos vários projetos desenvolvemos vários projetos que já nos cederam o chão suficiente para sabermos O que é possível fazer o que é

possível recuar como avançar E aí vem minha pergunta como vocês tê trabalhado esses resultados dessas políticas públicas anteriores para idar as novas muito obrigada alguém mais para se inscrever e fazer perguntas sim ali por favor E aí com isso a gente encerra o nosso bloco de três perguntas e passa aqui aos pal Anes meu nome é thí eu sou da SEDU do Rio Grande do Sul eh primeiro eu queria agradecer a palestra de vocês eh Fundamental e queria fazer uma provocação nesse sentido pro Inep né Eh a gente tem uma carência de indicadores com esse

recorte de raça e com a divulgação ou não divulgação dos microdados eh fica mais difícil da gente conseguir ter eh E por que que a gente não tem né Eh a a gente geralmente tem esses indicadores por recorte Rural e urbano Mas a gente não tem e tão claro e não fica tão explícito assim pra gente fazer um monitoramento ou um acompanhamento de política eh indicadores por recorte de raça ou por recorte de deficiência E por que não né Eh então o meu sentido é mais de trazer essa provocação aqui nesses indicadores e o quão

é difícil também pra gente dentro da secretaria eh ter que abrir os microdados recalcular todas as taxas como o Inep faz com um recorte específico porque isso não é divulgado e eu acho que isso acaba dificultando também quando vai fazer a implementação da política então não não fica visual a gente sabe que é a taxa de abandono é maior entre os meninos pretos mas como é que a gente coloca isso lá na política no final vai pro né a gente coloca para pessoas que TM o nível socioeconômico baixo eh e como é que a gente

consegue então deixar isso em evidência para poder trazer uma política focalizada obrigada alô opa até muito forte bom eh antes de tudo agradecer as questões aí foram questões bem interessantes e provocações justas né provocações muito justas vou tentar aqui seguir a ordem cronológica das apresentações é o o processo institucional Sem dúvida né Engraçado na hora que você tava me falando isso eu fiquei lembrando de uma situação de um primo meu que tava furioso né porque a a moça que trabalha com ele né Negra n empregada doméstica na casa dele e tudo aí tava nervosa porque

chegou a redação pra criança dela no mês de agosto as minhas férias na fazenda do vovô é uma moça que mora na periferia de São Paulo a criança nunca viu que é uma fazenda não acho que nunca viu uma galinha na vida né viu cachorro gato aquelas coisas ali que circulam né na na periferia mas eu imagino que Galinha muito menos vaca tenha visto e esse tipo de coisa tirar do pensamento é um trabalho assim muito áo e que acho que só pode ser feito assim com iniciativas como essa né do Ministério da Igualdade racial

chamando sempre atenção das coisas chamando atenção mesmo que precisa pensar Nessas questões de uma maneira assim mais assim focada a gente ainda é um tanto eurocêntrico ou sei lá americanocasas e não é o jeito do Brasil não é o jeito do Brasil Então eu acho que é um processo e isso Sei lá eu que eu estudei de história não sou Historiador não mas as coisas mudam no tempo da memória O que é muito chato colocar numa apresentação dessa o tempo da memória é o seguinte a geração que vem depois de mim vai acrescentar certas coisas

aí vai no longo processo me lembro de um trabalho que eu fiz com a Tatiana que ela ficou nervosa que certas coisas para igualar negros e brancos levavam 158 anos 145 anos eu fiz lá uma uma projeção daquelas projeções assim né que economia faz assim bem simplórias assim ela ficou nervosa sei como é que você fiz eu disse é muito simples eu vi como é que foi até agora e fui vendo quantos anos leva para ficar igual né No Ritmo que tá E isso no momento olha importante olhando para questões raciais esse tipo de coisa

então é preciso acelerar vai ter que enfim vai ter que haver um uma tomada de consciência social mais séria mesmo não vejo outro jeito não bom aí em relação à segunda pergunta Tem vários trabalhos que são feitos o que que vocês aprendem com isso a gente aprende mas não infelizmente tudo sabe o ipia eh e não só ipia assim órgãos assim mais centralizados a gente sempre tem de olhar assim de um de um foco nacional ou Regional ou pouco aberto assim nas regiões esse tipo de coisa os meus trabalhos mesmo vão nessa direção eu quase

sempre brinco né que economista é assim né que ele acha que se o se a perna tá no freezer e a cabeça tá no forno na média o cara tá bem sendo que o sujeito tá morto né nessa situação ele tá evidentemente morto como eu sou economista eu posso brincar comigo mesmo acho que um pouco nesse sentido tá então e olhar o Brasil é muito grandão são 5570 municípios se não tiver enganado tem uns colegas do IBGE aí que já podem eh me corrigir aí que tem que trabalhar com isso no seu dia a dia

então é muita coisa são muitas eh são muitas diferenças mesmo que a gente tem que aprender o que a gente procura fazer no ipia tá é sempre olhar para diversas realidades além lembrou que tem Urbano Rural que é importante mas a gente saber se o sujeito tá numa cidade pequena ou na periferia de uma região metropolitana é uma questão assim também importante por exemplo uma periferia do Recife Talvez seja muito mais parecida com uma periferia de São Paulo do que com o município de mé porte no mesmo estado e por aí vai assim esse tipo

de coisa sabe então eu acho assim que tem muitas questões aí que a gente precisa olhar que a gente precisa parar que a gente precisa pensar mas é assim olha vocês têm que dar muito feedback para nós também assim a gente vai procurar informação Municipal por exemplo é uma verdadeira loucura é uma doideira a gente sofre para chuchu viu e estaduais muitas vezes então tá na hora assim também tá tá precisando haver uma conversa entre pesquisadores e esse tipo de coisa para organizar um pouco isso sabe a gente aqui governo federal consegue fazer um mecanismo

de Imposto de Renda formidável né que vai que eletrônico quando eu mostrei para um amigo americano ele ficou Encantado disse nossa ten que fazer três não é nada desse jeito e a gente não é capaz de mandar questionários dessa maneira paraas áre paraas várias áreas né e uniformizando as informações que a gente possa compará-las vou Encerrando por aqui embora não tenha encerrado o assunto Obrigado tamb falar um pouco sobre as excelentes intervenções né agradecer os comentários e perguntas eh e primeiro falando com com willam acho que quando ele traz a questão do racismo estrutural e

institucional é importante a gente romper essa Barreira do Eh vamos dizer assim do discurso e da dessa compreensão né que eu acho que para muitos já é eh bastante presente às vezes inclusive eh pessoas agora n já estão perguntam assim olha a gente eh já tá convencido do racismo né com todos os limite né Por de uma sociedade de viver ser criado estruturado na sociedade racista E agora o que é que a gente faz né O que é que a gente faz para mudar essas estruturas então sempre voltando para essa questão para dizer que é

importante a gente avançar Nas questões de monitoramento e avaliação e como ele trouxe também de Inovar nesses instrumentos de pesquisa de eh e de intervenção a eu né dentro do desse campo dentro da gestão também trabalha muito eh tento né trabalhar muito de da da informação para o uso né para mudar né a monitoramento e avaliação para mudar a nossa realidade para controle social pra gente avançar para ter mais mais conhecimento isso tudo é meio importante e Fundamental pra gente mudar as realidades né E nesse sentido eh trazendo a a a a contribução aqui da

última colega falando sobre o O Desafio dos dados né desagregados sei que tem essa tem um uma situação que que hoje é importante também em relação à lgpd e às vezes a visibilidade dos dados né não vou entrar nesse ponto mais específico Mas querendo falar também sobre essa essa importância de desagregar como você trouxe para enfrentar essa realidade e eu queria finalizar só trazendo uns dois casos assim dois exemplos muito que eu que eu que me inspiram eh muito e né fic muito presentes um é o das cotas aqui na inber n eu não sei

se todo mundo conhece o documento relatórios dos relatórios iniciais que propõe as cotas aqui na UnB do professor José Jorge um dos autores ele eh ele traz a a informação de que havia todo um debate dizendo né que o problema não era racial Era social aquele debate que você já conhece e aí ele diz olha se o problema é social Então vamos lá na casa do estudante que é o estudante que são né os estudantes de baixa renda que moram dentro da da Universidade nesse perfil Então se o problema social ali né o esse problema

tá controlado a gente vai ter uma realidade eh mais ou menos eh igualitária também paraa população negra acho que não chegava a 5% então é e a partir disso você mudou a realidade né você você escancarou um pouco desse desse desses outros discursos e alterou todo um processo que inaugurou ou reforçou no âmbito das instituições federais eh o avanço de políticas afirmativas tem um um e e um um estudo que saiu recentemente eu vou alguns né mas eu vou eu lembrei de um cé recentemente nos Estados Unidos e eu vou pedir desculpa porque eu não

me lembro mais nada de nome nem de lugar nem onde foi mas acredite em mim que é verdade eu li isso não é fake News não mas tem outros estudos relacionados a a esse fato eh que de que mostra os a a realidade dos Estudantes eh negros em Várias escolas né as escolas que tem mais estudantes negros e a que estão nas Regi e pelas diferentes regiões e aí eles vão anal a a correlacionar a presença de mais estudantes negros com a formação de professores e aí eles identificam que as escolas né que tem a

maioria da de população Branca tem professores mais bem formados né Em que sentido porque também esses esses essas escolas a maioria Branca estão nas regiões né mais eh socialmente também economicamente mais avançadas eh e os os estudantes negros eh acabam estando escolas eh mais afastadas inclusive que muitos professores não querem né ou por diversas eh motivos chegar até lá então é um processo de de cobertura que a gente tem a cobertura tem a frequência mas que a gente tá reproduzindo a partir de outros elementos essa desigualdade num sistema de avaliação A partir dessa avaliação o

que é que a gente faz para mudar essa realidade Qual é o sistema de incentiv que a gente vai criar ou ou a gente vai manter sempre os professores eh a partir de uma determinada que tenha uma maior formação concentradas e reforçando o nível de desigualdade eh Tem um colega nosso no no ipé o André que fez um um TD muito legal André Campos É sobre o ProUni ele vai analisar numa universidade os estudantes eh que entram cotistas e não cotistas e ele vai analisar o a a a inserção no mercado de trabalho desses estudantes

O resultado é melhorou para todo mundo melhorou paraos cotistas tinha desigualdade no início eles fizeram curso superior eh ao final melhorou paraos cotistas Melhorou paraos não cotistas e a desigualdade continuou nesse período que você passa que eles passaram nas na instituição de ensino nesse período que os estudantes passam que vivem todas essas realidades aqui que a gente trouxe passam por nossas escolas poros nossos sistemas educacionais Quais são os outros elementos que a gente pode fazer para que ao final pelo menos essa desigualdade reduza a partir do sistema educacional ele não vai resolver tudo mas ele

ele com certeza eh eh pode ser colocado de e é colocado e pode ser ainda melhor colocado para a gente avançar na sociedade com Justiça racial obrigada gente pelo convite obrigada pela oportunidade Alô bom para encerrar eu queria agradecer ao milco a Tatiana pela pelo debate acho que enriqueceu ainda mais o nosso evento eh eu acho que foi uma uma um formato muito feliz de que mesclou as oficinas né atividade de mão na massa né de você né na falta de indicadores né na falta de dados vamos aqui dar os primeiros passos para como a

gente faz né como a gente né para públicos invisibilizados né como é que a gente né elabora o questionário como é que a gente talvez eh trabalha os microdados do centro escolar queé a gente não pode exigir que as todas as pessoas saibam fazer isso né então eh acho foi as oficinas foram né uma oportunidade de dar os primeiros passos nessa nessa direção eu acho que todo mundo sai aqui é mais conhecedor assim né da da da importância do da avaliação e do monitoramento e também do e e com uma e com uma visão crítica

né é importante mas a gente né a gente sabe que que que a metodologia é informada por valores né e o jeito o recorte que você faz do público é informado por valores Então a gente tem que que acho que antes a gente tem que saber onde é que a gente quer chegar né quem são os nossos públicos os objetivos e a partir daí eh caminhar escolher os as metodologias porque a gente vai fazer isso então a gente que a gente faça isso de forma consciente né e e sempre olhando eh eh criticamente onde a

gente quer chegar muito obrigado Mais uma vez reforçamos o nosso agradecimento aos componentes dessa última mesa com um debate tão enriquecedor e também aqueles que participaram ativamente desse debate pedimos por gentileza que se posicionem para fazermos o nosso registro fotográfico oficial enquanto o registro fotográfico é feito mais uma vez é forço que nós encontramos esse cartão de hotel do na um hotel verifique por gentileza se foi você que perdeu procure conosco mais um Salv de Palmas aos componentes da nossa última mesa pedimos por gentileza que retornem aos seus lugares no nosso espaço e dando continuidade

ao nosso evento nós teremos agora a nossa palestra de encerramento intitulada políticas públicas valores e Evidências e para proferir esta palestra temos a satisfação e a honra de receber o professor Paulo seja muito bem-vindo ao nosso palco Professor Professor Paulo januzi é professor e Coordenador Geral da escola nacional de ciências estatísticas do IBGE diretor do centro de colaboração interinstitucional de Inteligência Artificial aplicada às políticas públicas O professor januzi foi secretário de avaliação e gestão da informação do ministério de Desenvolvimento Social membro do painel de especialistas em avaliação do International evaluation Office do penude em Nova

York e analista da fundação SEAD por gentileza mais uma calorosa salva de palmas ao professor januzi professor januzi você está com a palavra Obrigado Gêneses eu eu prefiro falar de pé se eu puder não sei o que que é melhor se eu falo daqui mesmo acho que eu falo daqui mesmo né bom eu queria eh iniciar agradecendo esse honroso convite de est nesse encerramento do primeiro encontro de monitor desse seminário de monitoramento avaliação da da Secretaria de Educação Básica é Ron roso né Por est aqui com vocês né da rede toda no Brasil honroso por

ser do MEC né e particularmente aí organizado pela Janaína obrigado então Janaína que esse seja o primeiro de muitos eventos de muitas encontros como esse porque eu acho que realmente o campo né do monitoramento avaliação ele precisa ser apropriado pelas várias áreas né aqui na Explanada nos Estados nos municípios né não né a gente precisa ter eh muita produção de de estudos evidências que nos ajude a aprimorar as nossas políticas públicas Tá certo e eu acho que o MEC tem feito um esforço muito grande eu sou testemunha disso aqui do esforço da da da Janaína

do do fnd também nesse sentido que eu acompanho mais do INEP né da secretaria nova que tá quer dizer nova né mas que se constituiu eh e que esteve presente ontem aqui também né na na no campo da avaliação e porque eu acho que a gente né realmente precisa visões muito diferentes complementares plurais para que as políticas públicas eh sejam eh aprimoradas eu eh fico honrado né Janaína porque no fundo Olha só eh eu já vinha com alguma reflexão sobre vamos dizer assim tentar eh encaixar né Essa Perspectiva construtivista da da avaliação eu usava uso

um termo avaliação sistêmica né mas aí aqui Exatamente porque é um evento no campo da educação eu achei Por que não usar né Eh o termo construtivista a partir de uma perspectiva daquilo que né eu tenho advogado né já e me inspirar né os grandes educadores brasileiros tá ali Paulo Freire tantos outros e vicot também enfim tantos outros pesquisadores eh internacionais que tiveram uma grande influência também na formação de boa parte dos nossos educadores e eu acho que também no campo da avaliação vocês sabem bem disso e eu acho que encerrar esse evento tendo visto

tantas apresentações interessantes que de alguma forma mostram para vocês ou mostraram para vocês o estado da arte ou estado da técnica do campo de avaliação e que eu acho que a gente precisa superar acho que a gente precisa conu