Unknown

E aí [Música] Oi boa tarde a todas e todos que estão ouvindo aqui hoje à mesa de avaliação de políticas públicas método e relevância a estamos aqui com dois Eu me chamo Angela Dani mano hoje superintendente do Itaú Social e hoje nós temos dois ilustres convidados aqui para falar dessa temática de avaliação de políticas públicas a Paulo jannuzzi é professor da escola nacional de ciências estatísticas da faculdade Cesgranrio colaborador da Diretoria de análise de políticas públicas da Fundação Getúlio Vargas foi secretário de avaliação e gestão da informação do Ministério do Desenvolvimento Social 2011/2016 e foi

membro do painel de especialistas em avaliação do internet noivado estrofes do programa das Nações Unidas em Nova York de 2016 A2 e também está aqui conosco Renata bexiga é professora nos cursos de graduação e pós-graduação em gestão de políticas públicas da USP na pós-graduação em Ciência Política da USP além de coordenadora de pesquisa no Centro de Estudos da Metrópole entre 2011/2013 atuando na Secretaria de avaliação e gestão da informação do Ministério do Desenvolvimento Social bem-vindo Paulo e Renata é um prazer estar aqui com vocês uma honra poder conversar dessa dessa dessa temática tão importante em

tempos de política pública tão desafiadora é a gente do Brasil tem uma tradição muito curta de trabalhar vamos dizer assim com dados das relevantes para que os métodos EA relevância das avaliações de fato se dei porque as políticas públicas geralmente não são movidas a os prédios Então eu queria convidá-los a começar vou inverter a ordem como somos duas mulheres e um homem viu Renata eu vou inverter a ordem da cortesia convidar Paulo para fazer a sala dele cada um de vocês eu vou convidar os afazeres de 10 a 15 minutos para que a gente depois

posso abrir as perguntas do público tudo bem O papai Olá aonde vamos ver sua apresentação vocês estão vendo minha presença onde Sim estamos estava eu queria agradecer o convite da Miragem do nexo políticas públicas da Ângela também pelo convite de participar desse nesse festival né Muito importante no Brasil debate em assistindo alguma dessas palestras ao longo do mês de outubro tenham gostado muito e eu queria também implementar colega aí a a Renata o que eu trabalhei lá no DDS e uma pessoa também a já dá 5 uma Ângela nesse campo de monitoramento avaliação e via

acho que é uma mesa importante Como disse Ângela nesses tempos difíceis a gente vem passando desafiadores é um adjetivo que ela usou poder usar o outro adjetivos mais alguns ter aí no sentido de índia nossa a nossa coordenadora de mesa e ficar tá então dessa questão e ele se o tema da mesa sucita eu uso fundo acabei copiando o título da mesa apropriação do significado um pouco diferente mas eu vou tratar a fim de 7 slides porque me conhece set Live in em apenas 10 minutos e do método relevância e e do tema não menos

importante é o valor subjacente as avaliações públicas e é por aí que eu vou começar né porque é a gente está falando de avaliação a gente come a gente está falando de desenho da política pública a gente avalia política pública já foi desenhada seguindo algum princípio algum valor público e é a lei preconiza a e o Brasil é um desses casos Como Portugal e certamente que vai ser o time né que nessa última nesse fim de semana voltou na mas principalmente para uma nova constituição certamente na uma perspectiva Progressista pelo que ele que a pouco

mais enfim o que eu queria chamar atenção de vocês Ecco AZ as músicas são desenhadas a São formuladas a partir de juízos valores morais Morais que são escritos dos artigos constitucionais uma o pesquisadores fazer os canal ver todos os progressistas na sempre procuram uma atenção ir na sexta política aí também no direito no campo do direito políticas públicas amigo essa essa visão de que as políticas públicas no Brasil civil organizaram longo da Constituição ao longo dos últimos 60 anos porque o dia de termos constitucionalizado uma série de direitos sociais importantes que são escritos nas primeiros

nos primeiros artigos da nossa Constituição o seguinte Leia na Constituição a 38 são amigos inscritos uma série de compromissos e de valores públicos orientadores do desenho e portanto da avaliação de políticas Sul como não do artigo logo logo no começo imperativo a promoção da Cidadania e dignidade dignidade uma dignidade humana inclusive ele é ressaltar é ressaltado por vários constitucionalistas como elemento importante e fundante né de muitas das nossas políticas inclusive da judicialização pela qual críticas públicas tem passado sucessivamente ao longo desses 20 dos 20 e 30 anos tem a a opção de uma sociedade livre

Justa e solidária sem pobreza e menos igual sem preconceitos de qualquer natureza e que mais deve promover o bem-estar de todos enfim é no artigo 4 a excitação do Campo é da República um aprovado que se dos Direitos Humanos cooperação moderação e são pacíficas das relações internacionais o artigo 6º não é que é a base de institucionalizar os analisou é um conjunto importante de políticas públicas a partir de emendas e Forums and propostas esses 20 anos é que são direitos sociais a educação saúde alimentação trabalho moradia o transporte lazer a segurança a Previdência porque são

maternidade infância assistência aos desamparados na forma desta constituição essa redação mais atual é que a partir do nível médio da legenda em 2010 que instituiu a alimentação como um direito social assegurado eu tô trazendo isso gente porque é a gente não pode esquecer que ao avaliar uma política pública ela foi desenhada e ela fez a alguns princípios nesse caso princípios constitucionais e valores públicos na dignidade humana justiça social cooperação Equidade e assim por diante então E esses são valores públicos e estão portanto na génese do sistema de saúde no sistema único da Assistência Social nas

políticas educacionais nas políticas de trabalho enfim esse compromisso com esses valores eles estão escritos a nos nossos problemas íntimos e portanto deveriam estar sendo considerado como inspiradores da avaliação mesmo avaliação de projetos sociais para uma organização sem fins lucrativos ou por uma empresa né quando se faz avaliação a gente tem que olhar então funcional daquela organização promotora daquele daquele projeto social da mesma forma e quando vai avaliar um programa como olhar os valores estudantes né e orienta aquela aquela política pública para não privilegiar perspectivas interpretativas ou avaliativas que dialogam com a correntes o pior icas

ou enfim perspectivas para paradigmáticos da academia que certamente são importantes mas não são necessariamente os melhores norteadores de avaliação indicação E por que que eu comecei com o resto são de valores gente porque na realidade nós estamos passando tempos bicudos no guarda os sentidos e inclusive o artigo sem que eu acabei de dimensionar o artigo sem ele ele tá sobre risco de ser modificar porque na PEC que foi proposta pelo Ministério da Economia em novembro de 2019 a uma menção muito clara instalar na começar ativo do conjunto que está assentado ali ir Mc Lan e

o ministério da economia está propondo colocar uma dengo em seu artigo 6º né em que os direitos sociais e devem se submeter essa a regra de responsabilidade fiscal Ou seja é vai ser né a ideia se colocar o artigo o único nessa um parágrafo no começo artigo 6º onde será observado na observação dos direitos sociais direito o equilíbrio fiscal empresa nacional ou seja você condiciona o compromisso com os direitos a disponibilidade de recurso a reserva do possível você fragiliza a possibilidade de instituir políticas públicas condicionada à disponibilidade de recursos na economia Alguns podem ajudar bom

faz sentido bom gente não faz sentido Não faz sentido porque é a história de constituição do estado de bem-estar sempre colocou na frente o compromisso político né nos países o já ouviu e condicionou o econômico ao compromisso político e social em sociedades foram se né foram acordando ao longo ao longo 80 anos de intervenção do estado de bem-estar no mundo desenvolvido a eu queria chamar muita atenção Nisso porque isso é um princípio básico que a gente ficou curioso a Portuguesa de não a relativizar os compromissos políticos sociais em função da atividade de recursos que a

gente sabe claramente porque que está se propondo não só isso não só esse parágrafo único como também a a não obrigatoriedade do plano plurianual que é mais uma outra colocada exatamente para fragilizar o processo de planejamento institucionalização de políticas públicas para se adequar à regra do pé bem então o que que é isso tem a ver com avaliação ou tem tudo a ver né porque nessa perspectiva não ser tão vendo nesse diagrama ver o nosso conseguimos constituir 20 anos um sistema de políticas públicas bastante complexo termos setoriais e de cobertura também nesse e esse sistema

enfim tem tido Neve propostas de políticas públicas a partir de demandas né pedido colegitimados pela assim também e atendimento para série de compromissos internacionais e naturalmente no processo de desenho dessas políticas em vindo claramente os princípios orientadores das políticas como esses tô colocando de idade justiça social operação Equidade e moderação solidariedade sustentabilidade ambiental respeito de metal adversidade transparentes bem gente eu não tô inventando não é completamente assim qui e e as políticas públicas elas efetivamente são institucionalizadas inclusive corrigidas muitas vezes pelo Supremo Tribunal Federal quando se identifica que existem alguns desses princípios valores não serão

respeitar e as avaliações elas podem ser de duas naturezas né as avaliações além das avaliações diagnósticas que estão representados apenas as organizações e as avaliações de processo ou estratégias de monitoramento elas trazem inovações incrementais não é na medida em que elas identifique os nossos críticos e implementação de pessoal técnico arranjo internacional recurso orçamentário natureza qualidade de produtos e equipamentos participação todos esses são nós críticos que precisam ser diagnosticados perto e portanto o nosso foco no Brasil é pelo instituídas políticas desses últimos 25 anos elas estão aí vem se passam de muitos problemas de implementação não

existem a implementação importantes e aperfeiçoamento que precisam ser efetivamente realizar algumas políticas públicas parte faz sentido fazer avaliações mais exaustiva certo mas assim entre gastar recursos em valer avaliações de resultado de variações de implementação gente vê isso depois está recurso e apareceu de implementação porque ali que ainda a gente tem reconhecido a leitura é muitos problemas nós estamos a meio curte no processo de colocação de um conjunto expressivo de políticas públicas elas vão passamos 40 anos como Portugal ou 80 anos como França Alemanha Suécia instituir políticas nós passamos a 20 a né e tudo junto

e misturado né um conjunto de políticas bastante diversos um contexto de desigualdade social e de capacidade de digestão muito diferenciada nos municípios do Estado brasileiro Ministério passagem mais é entrando numa deprê Oi Gi de mérito também né irrelevância nossa certamente temos fazer avaliação de resultados e pactos para trazer no bastante substantivas vai ficar para ver se eu tirar muito se têm políticas públicas que depois de tendo né apaixonados seus problemas de implementação se elas conseguem é efetivamente entregar aquele que que prometem um se precisam Inovar substantivas o que em princípio as políticas públicas tem médico

sim né porque elas elas Hermanos de demandas públicas e que é preciso de tecnologias de intervenção que podem se aprimorar então É nesse sentido nas avaliações resultado a gente também tem que para além de considerar os valores públicos considerados a gente tem que considerar os diversos critérios de avaliação do comitê capim E aí eu vou usar o relevantes O que é trabalhar ações Elas serão tão mais relevantes para as políticas públicas quanto mais elas observem também o critério da relevância da política em aprender o mérito da demanda e originou a política por é o que

a gente muitas vezes não faz o Brasil Brasil a gente usa basicamente três critérios dessa Matriz que já é uma atriz reconhecida lá fora né pela você vier pela pelos órgãos das Nações Unidas mais 20 25 anos a gente vai escrever um artigo aí no nexo jornal não é nesse sentido que procura chamar atenção de um critério relevância e da sustentabilidade aí eu não vou falar aqui da eficácia eficiência efetividade estou dependendo de você mas só ressaltando a importância de quando a gente for avaliar uma política pública vamos lá primeiro é entender a a qual

é a Adesão daquela política pública e esses valores alguns desses princípios constitucionais ir legitimam de partida a existência daquela publicação certo então é isso a gente não faz a gente muitas vezes tá correndo né o risco hoje de não só de hoje mas é os últimos cinco anos de privilegiar tudo de mais eficiência ou a qualidade do gasto e se valendo de média avaliações Economy sistemas baseados em mais eficiência na suposta eficiência é muito mais o recurso meio que eu encostar no princípio bem o que eu preciso ensinar isso a gente acaba desde te mando

mais tarde pelas ruas mas por outro lado também a gente ensina a considerar a sustentabilidade né das políticas públicas gente vai fazer com transferências precisem realmente demais recursos O que é sustentabilidade procura garantir que as políticas né nas avaliações nas avaliações que as políticas também cumpriram a mudança e culturais que persistem depois do programa e finalizo né com a discussão de método né que é o terceiro a perceber a palavra chave da apresentação que já eu advogo também como Michael patton em tantos outros aí para sair da avaliação lá fora e aqui no Brasil de

que a gente não existe padrão ouro né existe um método padrão ouro se existe padrão-ouro é a triangulação como que se metodológico triangulação de sujeito é providenciar os técnicos gestores cada um tem apreciações diferentes a respeito dos sucessos ou não do programa dificuldade jornal a triangulação a partir dos métodos na como o abordagem multimétodos como a Ângela também definiu no aro e de avaliação nós temos aí no Netflix públicas usando métodos qualitativos quantitativos e estudos já realizados Beta avaliações ou metanálises e por fim gente essa eu acho que a outra perspectiva super importante triangulação de

perspectivas interpretativas analíticos e teórico-metodológicas da avaliação uma avaliação honesta deveria entregar para o gestor decisor as diferentes perspectivas avaliativas 2º premissas paradigmáticos ou valores ou valores públicos ou valores particulares daquela equipe de avaliar o Arthur gestor possa exercer o processo decisório político por Excelência porque é ele que tem a legitimidade a partir da informação robusta né plural e triangulada e as equipes de avaliação deve produzir Então as equipes de avaliação que é muito mais compromisso em avaliar né entregar um conjunto amplo de informações por ao etc e não é e não decidir Deixe os decisores

nesse se tem decidido que eles que cidade frente e ficar isso que eu queria colocar e a gente fica depois do debate aí nessas nessas pessoas obrigada e eu para variar tô com microfone no mudo acontece com muita frequência em vários lugares inclusive aqui no público Paulo eu quero agradecer muito a uma ótima um dia assim apresentação fundamentada no que deve se basear a política pública Hum que é exatamente a Constituição Federal e o arcabouço de leite e traz os valores para que a gente tenha a base da política no país eu não vou interromper

com pergunta agora eu vou convidar a Renata para contribuir com a farra dela e depois a gente entra no debate tudo bem vamos lá Renata Feliciano tem mais ligadas queria começar agradecendo o convite da Paula Miraglia um prazer conhecer a Ângela hoje e interagir novamente com pau aqui eu agradeço por me acontecer de eu acho que a nossa fala vai ser bastante convergente não por coincidência sou uma leitora do Paulo trabalhei dois anos com ele mas eu digo propositadamente tentando antecipar o que talvez iria pelo apelado do Paulo eu trouxe uma outra discussão que é

bastante complementar Eu só preciso conseguir compartilhar E aí e fala que não consigo fazer isso para mim os meus slides que acho que ainda não estão aparecendo Deixa eu ver se eu fiz alguma bobagem deve ter que colocar em modo agora eles aparecem ainda não o Marcos ou então Ângela e Paulo acho que a nossa a minha fala vê se vocês complementar é do Paulo vou trazer algumas provocações prescrição e o tópico que eu pensei foi principalmente pensar as articulações entre a avaliação de políticas públicas análise de políticas públicas e tomada de decisão principalmente na

conjuntura atual em que a gente tem muitas ficção baseada em evidências falsas em poucos Fatos e nenhuma evidência na gente tem ali aqui O Domínio das fake News como é que a gente pensa o lugar das residências e de um variado leque de evidências Acho que são importantes na produção de políticas públicas E aí eu tô falando de dois Campos nos pais e o ato tô pensando Quais são as possibilidades de fertilização cruzada entre análise de política pública e a pesquisa sobre processos de produção de política pública e não necessariamente tem objetivo instrumental mas que

ajuda a dar sentido à pergunta a Chaves e por que políticas públicas são ou não são produzidas já viram ou ouviram decisões né chega uma não chegam a se tornar leis o Paulo já começa né das decisões cristalizadas em instrumentos legislativos análise política pública inclusive dá alguns passos anteriores até pra gente conseguir entender porque agendas históricas que obviamente entre aspas deveriam ser enfrentadas não são enfrentadas e como é que a gente olha para esse universo atores ideias instituições e inter-relação e quais são as lentes de análises que dão sentido para isso e nos ajudam a

pensar política pública para além das lições implícitas e simplórias que dominam levar tipo mas que a gente pensa que o processo de produção de política pública de Fábio complexo mas dizer que algo é complexo não significa abrir mão dessa decomposição analítica Quais são os principais fatores que ajudam entender umas agenda que ajuda a entender o processo de formulação e de implementação tem muito feliz que o Paulo tem a mencionada a implementação porque eu pretendo falar bastante de implementação na Omni o antigo e clássico já para mim da marca Hatch e chama uma contribuição para fazer

um trabalho ações menos ingênua mas que a gente leva a sério as contingências da formação e da implementação Principalmente um país o estrutura Federativa a grande desigualdades inclusive de capacidades estatais com o Paulo bem colocou terreno da análise de política pública um terreno de produção acadêmica interdisciplinar mais do que multidisciplinario de até mais do que interdisciplinar que não necessariamente fertilizam avaliação né avaliação de políticas públicas tem a ver com a ideia de produção de conhecimento aplicado tenho necessariamente uma dimensão instrumental na avaliação eu estudo para intervir eu estudo para produzir recomendações e sugestões de intervenção

a esses dois Campos do conhecimento se tangenciam mas menos do que a gente gostaria como é que a gente pensa qual a possibilidade de intercruzamentos o que passa inclusive por debates interdisciplinares gostaria de trazer a questão da Inter a verdade para mim e aí como é que isso tudo a festa uma festa produção de políticas públicas mas como a literatura Internacional e brasileira jovem colocou a gente tem desafios na realização de avaliação a Ângela falou sobre isso na abertura da fala dela a gente ainda não tem uma cultura de avaliação e analisada nas mais diversas

Aires seja de avaliação seja de monitoramento uso de indicadores ainda em siquém A então esses desafios importantes a mais uma coisa pensar o desafio de construir avaliação matizamento por coisa pensar se de fato processo de monitoramento e avaliação retroalimentam processos decisórios né quando a gente pensa naquela simplificação do ciclo de política pública que é isso mesmo não é uma simplificação holística Mas é uma aproximação muito distante da lógica de impressão de realidade a gente geralmente imagina que avaliação essa etapa final e retro alimenta processo de tomada de decisão está todo mundo que já trabalhou com

avaliação e já trabalhou nas eu tava ficando evidente que nem sem trabalhar ações são realizadas nem sempre sistema de monitoramento com filhos e muitas vezes resultados robustos interessantes já variações bem produzidas não são aproveitados nos processos decisórios eu acho que a gente precisa voltar a discutir mais como e porquê avaliações são ou não são utilizadas Principalmente nesse ano que um ano eleitoral a isso sem cair numa postura positivista ou não sabe iluminismo ingênua de achar que a ciência razão e ilumina o mundo e toda a decisão de política pública tem que se pautar em conhecimento

científico acho que a gente tem disputas importantes nunca ou sentir o que é avaliação válida para além de um certo padrão ouro o que é produção de evidência sólida para Além de estar e somente experimentação da Amizade dus são o que a avaliação deve ser então concordo integralmente com Paulo ai que a gente traz um debate ampliado e não positivista de evidências como é que a gente pensa triangulação de métodos de perspectivas Spina as fontes de informação a mas garante tudo isso do conjunto até o like metrológico não garante diretamente a utilização dessas evidências nos

processos de produção de políticas públicas tem aqui na um certo diálogo que não acontece eu como é que a gente começa a falar a mesma língua Ou como é que a gente começa a desenvolver essa nossa competência linguística para transitar entre distintos universos semânticos e qualificar o debate e disse que eu gostaria de falar como é que a gente consegue beber em várias Roms e traz tentar trazer para o debate público o debate um pouco mais qualificado nesse sentido gostaria de saudar iniciativa do nexo e vem historicamente tentando fazer exatamente mas que a gente traduz

produção científica no linguagem minimamente acessível mas que a gente faz jornalismo de qualidade baseado em pesquisa empírica na pesquisa sólida e consegue comunicais não eu acho que tem vários Desafios que passam por aí ó e se conectar diretamente com a ideia de produção de evidências e de reflexão sobre desafios contemporâneos principalmente na linha do que o Paulo tava indo mas que a gente enfrenta os desafios principais da agenda brasileira né combate à desigualdade combate à pobreza e infelizmente novamente combate à fome né acho que agora no contexto da anemia de covid-19 a gente tem bons

exemplos nesta fertilização cruzada né vários núcleos da academia articulando com gestores em vários níveis não está mente num nível Federal E aí a gente tem aí também todo uma transformação das relações intergovernamentais brasileiras é que a gente produziu evidências por meio de indicadores quantitativos de técnicas qualitativas por meio de escuta de burocratas em diferentes escalões como é que a gente consegue pensar sobre os desafios contemporâneos mas a gente está tendo com a crise de fato uma janela de oportunidade para debater temas estavam fora não é que estavam ali ensaio subsistema esquecido da República um presente

o debate da renda básica emergencial a gente tem um debate hoje interessantíssimo em torno das possibilidades de desenvolvimento das agendas ainda que com variações sobre importantes ao casos inclusive por disputas políticas como cês Podem perceber eu quero faz muitas coisas em pouco tempo então vamos lá sem mais delongas este diagrama eu tiro de um livro da Fiocruz que eu gosto bastante é um diagrama super interessante para a gente pensar as zonas de sobreposição de independência entre a pesquisa não avaliativa na empresa análise de política pública não nós para mim tão pensando avaliação não estão produzindo

recomendações não tem objetivo puramente instrumental mas estão ali embasadas em métodos e técnicas de pesquisa o terreno da avaliação o Paulo muito bem colocou tem um par de baixo normativo nascer e justiça nos valores nos princípios de transformação na a gente pensa bem e a pública tem algum objetivo de transformação social no texto clássico da Angelina Figueiredo melhor durante o doutorado do Marcos Figueiredo companheiro dela ali exatamente sobre isso a gente discutir pouco mas são os princípios e subjazem aos normativos as leis na ao regramento das políticas públicas mas é também diz que a gente

tá falando Ah então a gente tem abordagens normativas por vezes baseados em pesquisa teórica a gente tem hoje no Brasil então debate interessantíssimo e torno de teorias de Justiça filosofia moral e desenho explica público mas obviamente não sou especialista nem da frente pode ir A gente também tem de Março normativos que acontecem no debate público selecionado está aí ancorados em pesquisa é só a gente prestar atenção na disputa eleitoral que é possível a gente perceber essa disputa em relação à diferença objetivos e prioridades a o mesmo orçamento escasso limitado Quais são os nossos objetivos de

transformação Quais são as utilidades tudo isso que e pensam e esses subconjuntos interpelam a tomada de decisões Tem uma parte importante do processo de tomada de decisões em política pública que não é pautado por pesquisa por a Malhação para o debate normativo a o que me interessa aqui é exatamente discutir esse universo aqui de intercessão possível e o que que eu gostaria de falar um pouco então não é trazer esse outro cão que ali o irmão queria falar um pouquinho sobre análise de política pública no caso brasileiro a gente tem um avanço importante nas últimas

décadas desde a redemocratização principalmente o entendimento de como políticas públicas são produzidas né a tentar responder essa pergunta a chave chave do Lázaro Quem ganhou o quê Por quê Que diferença faz toda a política pública e tem algum grau de conflito sem motivo ou retributivo orçamento é sem descanso mas importa muito saber quais são as consequências da tomada de decisão porque algumas decisões são tomadas e outras não são tomadas como é que decisões individuais se agregam e viram padrões históricos de política pública não tava falando muito bem da conjuntura atual de construção do Estado de

bem-estar social em uma sou muito importante na ciência política e tem tudo a ver com nossa cidade já tem sabe qual é o grau de institucionalização de certas agências principal uma história de Desenvolvimento Social tu tá falando de inclusão de públicos de maneira muito recente a gente pensar em políticas para que uma bola ribeirinho população em situação de rua mesmo construção de sistemas nacionais como suas tem um único de assistência tem um objeto de pesquisa é extremamente recente como é que a gente tem métricas de institucionalização e métricas consigo inclusive pensar dimensão Federativa do nosso

sistema político o que Brasília decidiu qual o papel dos governos subnacionais a gente tem um conhecimento acumulado bastante importantes sobre tá a gente não tá mais preso na análise de política pública a simplificação em geral do ciclo de política pública televisão é a pista aconteceu mundo pudesse ser organizado em caixinhas estantes que se sucedem numa certa ordem lógica né não vou entrar aqui no debate teórico e serial é muito selvagem da minha parte dizer que só para ter uma ideia a partir de um texto que eu gosto bastante desse lado e mais a gente tem

todo um percurso que aquele passado pelo que processo de politização e complexificação das maiores a gente cada vez mais sabe e produção de política pública não implica só o estado em Ação a gente cada vez mais tem um conjunto diversificado de atores envolvidos nas políticas públicas tudo isso afeta tanto as nossas análises quantas nossas avaliações em arranjos complexos de formulação implementação e avaliação que envolvem atores estatais e não-estatais na cidade civil e do mercado como é que eu dou conta desses arranjos né como é que o bebo nessas lentes analíticas e como é que se

informa avaliações - em genes aqui um pouco uma lista dos estudos no Brasil a gente já cansou e muitas direções compreensão sobre desigualdades consequências do federalismo para política pública sistemas nacionais de políticas com o Paulo Gamer pressionou muitos estudos a medicamento em casa a implementação queria chamar atenção Para Isso é impressionante como a gente ainda tem um sabes fetiche com a ideia de que a avaliação é só Malhação resultados ímpar e muito feliz com o Paulo falou sobre isso tinha certeza que ele não me decepcionaria na como é que a gente avalia processos de implementação

se a gente está falando de agendas relativamente recente inscritas no nosso sistema de proteção de nas últimas décadas a gente tem vários desafios regulamentação alimentação não é só execução de decisões pelo reintegra a constituição isso é essencial mas é insuficiente mas que a gente leva a sério as diferentes capacidades estatais e nem as diferenças disputas políticas as internações são as estatais nesses processos de governança multinível que afeta as nossas implementações de políticas tem muito conhecimento acumulado sobre todas essas dimensões e como é que essas informações fertilizam fertilizam A Malhação a gente discutir pouco essa retroalimentação

e ver o que a gente tem eu deixo por debaixo por que isso acontece quais são os municípios a esse falar jamais a gente já não são muitos na análise e a gente tem avançado no Brasil numa agenda de políticas públicas em certas áreas de políticas têm grande variação horário de política em termos de Cultura de avaliação uma coisa de bater isso na educação na saúde e depois a pensar Desenvolvimento Social cultura e muitas outras áreas de intervenção mas o pão Central para mim é tentar partir dessa definição minimalismo na produção de conhecimento aplicado voltado

para retroalimentar processo de tomada de decisão como a gente faz isso por meio de Quais as vantagens metodológicas e sem considerar que a política pública não é criada no vácuo a partir de decisões de boa vontade nas notificações voluntaristas não tem lugar e a ideia do tecnocratismo ingênua né São Paulo usa no texto 2011 que eu gosto bastante vai fazer uma boa avaliação a gente precisa ter conhecimento de métodos e técnicas qualitativas e quantitativas é uma boa relação de desenho de pesquisa mas a gente tão bem precisa pensar de maneira mais sofisticada e menos ingênua

como as nossas políticas públicas são formuladas não é para usar os termos da marca Hatch Quais são as contingências da formação e da implementação não basta olhar para o desenho na esperar um certo tempo e depois coletar resultados para avaliar os três vezes né concordo com o Paulo a gente fala muito dificiência eficácia efetividade tem várias paradas e a gente discutir pouco mas como é que a gente leva a sério essa ideia de que a implementação embora contexto de implementação de como é que a gente pensa tipologias de contexto ainda mais um país Continental como

o Brasil e isso tem tudo a ver com estratégias qualicons integração entre monitoramento avaliação e pensar sorvete pensar estudo de caso em que o triângulo que Paulo bem trouxe para a gente na sala dele e como é que a gente pensa para além da ingenuidade como que a gente dá conta de temporalidades muito distintas né fazer avaliação a tentar uns a pesquisa pensar técnicas de pesquisa social escolar que a gente como que a pena o tempo da pesquisa o tempo da produção desse conhecimento seja com técnica qualitativa seja com técnica quantitativa e o tempo da

tomada de decisão tá todo mundo que já fez na variação na Gestão Pública como Paulo e eu essa equação Ela é super difícil de ser bem resolvido né o tempo da produção de conhecimento com qualidade às vezes é mais Moroso que o tempo da tomada de decisão e como é que a gente pensa Então o que é possível o que é factível mas são os dados que eu já tenho nas bases administrativas a última de São super bonita e que a gente pode discutir sobre isso uso analítico de base de dados uso analítico de registro

dos administrativos nem sempre preciso cortar um dado novo um brinde a lealdade tem e atentar para ajudar infantil e pensar ensinado não só numa perspectiva tecnocrática e pensando os gestores envolvidos pensando isso de maneira uma piada posso dar exemplos no debate Se for esse o caso sub estratégias mais participativas de avaliação esse outro eixo são bastante importantes como é que a gente pensa técnicas participativas de avaliação e outros atores outros usuários desse processo de avaliação Para Além de pensar no gestores sinais a política a nossa aqui um ciclo de política pública que eu critiquei está

no texto do Paulo também né acho que é uma ideia muito importante daquele terça eu tô vendo que agora está usando outros diagramas e outras coisas não é sempre muito mais criativo que eu da seguras mas aqui tá trazendo do tecido de 2011 como é que eu penso a possibilidade de avaliação em todo o ciclo de políticas públicas Antes durante e depois da uma carta intervenção a a miríade de possibilidades dela super importante eu ainda Fico impressionada toda vez que eu vou colocar a mão na massa fazer uma variação uma energia que a gente tem

que responder para convencer gestores que a variações de processo avaliações de implementação e vão além do monitoramento o quanto elas são relações né a gente tem muitas vezes se a gente só fica na no conhecimento de manual a gente parte para o mundo achando que todo o programa tem ideia da mudança tem uma clara cadeia causal de transformações tá me dá onde está partindo que está entregando e quanto tempo espera né para gerar transformações mas na prática a gente na sinto muito funciona pelo menos assim que o mundo funciona na uma grande maioria das políticas

brasileiras vão de políticas continuados que não tem como esse fim para estabelecidos em que essas relações causais ainda não tão bem testadas não é mesmo porque nem sempre eu tô bebendo não conhecimento acumulado sobre como essas relações causais estabelece daí voltas são análise de política pública e aí importância o seu gestores que sim como o Paulo bem falou muitas vezes o que a gente precisa é uma boa variação de implementação e essa é uma avenida de literatura na análise política pública carros ou ruim a a gente sabe cada vez mais sobre processo de implementação E

aí faz toda diferença né Tem planeta na política setorial meu objetivo de transformação a intersetorial E aí para além desse objetivo normativo Quais são os desafios empíricos enfim só para provocar algumas opções a aqui eu acho que vou passar muito rápido sobre isso a gente falar sobre evidências não significa tá limitado numa perspectiva positivista gosto muito desse texto do ar e com autores na marca a gente tem esse trabalho ação tem uma função estratégica para os gestores mas como é que a gente pensa o lugar da objetividade de pau objetividade a gente tá falando se

aquela identidade das redes sociais objetividade produzida no diálogo entre o subjetivo para além de um certo fetiche a técnica e devem ser usadas mas em conjunto com outros como é que eu levo a sério algo que o Paulo falou a pluralidade de valores e saibam sistemas de avaliação a gente tem um debate importante sobre esses parâmetros e sobre esses valores a e esses valores inclusive vem nos ajudam a definir quais métodos e quais questões avaliativas devem ser investigadas a pergunta avaliativa também pode ser colocada em discussão não precisa ser fruto de uma decisão de especialistas

a E aí eu acho que esse é um pouco na dominância de uma certa abordagem positivista energias o métodos quantitativos e só estudos experimentais que tenham seu lugar gente também usava tudo isso nassagem a você a gente usava várias outras coisas esse predomínio não sabe padrão-ouro com uma certa abordagem de oculta uma multiplicidade possível de contexto nos políticos e culturais que não são de simplesmente geração e dizer que algo não é simplesmente coração e se não mais E aí Para não misturar né tem o texto da caramba o que a gente fala da Mística da

complexidade eu acho que nem tanto ao mar nem tanto à Terra nem para ser positivista nem achar que o mundo é impossível né não tô aqui numa postura Nossa estrutura está aqui tia advoga pela impossibilidade produção conhecimento pelo contrário mas como a gente faz isso pensamento oração com o Paulo bem nos ensina naquele livro dele sobre indicadores tem tudo a ver com pensar teorias valores de composição conceitual de novo terreno do avaliação sendo fertilizado pelo terreno da Lari fazer avaliação é pensar sobre valores a pensar sobre teoria a E aí para finalizar porque vai ficar

tarde Porém não tem a minha vontade de falar muito rápido quais são alguns desafios ainda que eu vejo na produção análise e avaliação de políticas públicas no Brasil como que a gente lida começando pelas desigualdades multidimensionais e persistem como é que a gente lida com o fato de sexo público sistemas e políticas entraram muito recentemente na agenda e a gente ainda não tem necessariamente a expertise na abordá-los da maneira como a gente gostaria que a gente lida com as dimensões institucionais com as complexo arranjo federativo que vem da Constituição de 88 tem sido transformado sem

grandes mudanças contemporâneas nas relações intergovernamentais skokka questões inclusive para avaliação nesta tem uma mudança nas estruturas de coordenação Federativa como é que se Inter pela avaliação de políticas públicas não posso simplesmente parte de um desenho e avançar a partir daí como é que eu penso sobre esse emaranhado de relações e como é que a gente leva a sério um ponto que o Paulo já nós bem como e não combinou isso ai ai que a gente lida com as desigualdades igual capacidade estatal na produção de política pública a isso Varia muito por área e Varia muito

para mim não subir Nacional a gente tem muita capacidade de casal para implementação de algumas políticas menos tem comunicação de outros como é que tudo isso Inter para ela a avaliação Sem falar na ideia das capacidades avaliativas ou das capacidades estatísticas a gente tem produção recente na análise deste públicas sobre tudo isso mas enfim eram essas as questões que eu queria trazer para o debate obrigado Oi Renata muito obrigada você Paulo traz o fundamentos plurais do que a gente tá falando aqui de Janeiro método e você traz a discussão de como que você analisa isso

tudo como que se avalia tudo isso como que se cruza no universo mais ainda por alguns país que foi apanhado por dificuldades contemporânea sem ter vencido as maiores os maiores desafios históricos vamos dizer assim de ainda nem compreender como o Paulo vem colocou a necessidade EA premência e trabalhar muito para mim de implementação avaliação da implementação aprimorar a política pública e tem uma análise mais crítica de tudo isso eu não vou falar muito a primeira coisa que eu quero te pedir aqui houve um pedido da audiência que você se tá se o nome e o

autor do livro da Fiocruz que você deixou na sua fala Renato de cabeça não é um E aí galera tudo então eu vou começar faço assim eu vou começar um pouquinho tá ótimo eu vou começar um pouquinho com você tocou um pouco no assunto tempo Acho que Paulo um pouco menos mas assim é uma das perguntas é como conjugar é você abordou esse muito brevemente o tempo de pesquisa e avaliação com o tempo da política Esse é um grande desafio que nós temos no Brasil em termos de política pública da descontinuidade principalmente considerando que os

municípios cidade maior do que os estados mas não quer dizer que os estados também não tem então a gente perde muita coisa no caminho não só pela falta de análise fertilização acho que ela quebra mesmo e um ciclo e pode estar sendo bebê não vou não então você pode ser mapa e da música Como é que a gente vai fazer a gente vai coletar informação vai pegar a questões aí Oi Dindo como é que você quer fazer eu vou lhe colocando as questões Se você pudesse acho que a gente fala com ele pergunta para você

para Paulo e vou alternando mas você se sentindo também com vontade de responder alguma coisa eu coloquei o outro essa palavra Vamos combinar assim para fazer um diálogo mais ativo enquanto sujeito Agora já passou da fase não vou falar sozinha vamos lá isso mesmo a gente vai começar eu começo o nosso começar acabou eu fiz leitura labial então de Neymar importantíssimo era um dilema que a gente com quase exclusiva na passagem né também muitas vezes aqui no município de São Paulo já já fiz várias avaliações do nível Municipal também não pertence a questão da descontinuidade

administrativa um problema daí a importância da cidade da institucionalização de agências da ação de atores que usa mais informações e usam as avaliações a gente explique os fatores Na Linha Do que o Paulo colocou a gente cria na stakeholders eu detesto ter mais vou usar a gente creatores que nem aquelas a gente então São Paulo a partir de uma avaliação de um programa aos primeira infância Exatamente tudo que a gente lamenta os resultados da avaliação chegaram foram sistematizados quando as eleições já tinham passado aquela administração já tinha perdido as eleições é de pedra muito grande

mas a gente compromisso Acho que por isso que a gente apresentou os resultados na comunidade que foi investigar não é um outro numa territorialidade e se esconder para o funeral específico sensível a apropriação do relatório de avaliação com uma linguagem acessível Esse é um outro desafio que línguas a gente fala né E a gente religiosas políticas comunitárias a que certamente igual avaliação sou os vereadores foram embora aqui na estação pública passou mais outra administração veio e aquelas faltas Carole cristalizados para novas rodadas de primeira infância não se perdeu foi interessante depois que foi convidada a

atuar como uma agência de uma avaliação da gestão seguinte sobre o mesmo tempo a E aí é isso não é dentro da gestão Mas gostei olhos mas a lembrança de que uma variação passou por ali e as entrevistas foram realizadas grupos socais foram fez isso fica ainda é muito pouco eu acho que a gente precisava ter uma cultura de sinalização da avaliação e uma apropriação mais denso E isso tem a ver com essa mensagem linguística a minha coisas mas na fase tem Suelen suas importantes terminação numa linguagem acessível mas eu penso sumários executivos ninguém lê

150 páginas nem as cores né Ângela quem vai ler o relatório eu acho que passou por aí e você mencionou que você não gosta da palavra ser todos e até porque ela faz parte interessada o que precisa de fato participar de desde o desenho e discussão da política pública que se ela perde relevância na saída né é eu vou emendar com um agora vou dirigir para Paulo é que foi uma conversa que a gente teve um pouco ontem na reunião e a pergunta é que a grande questão dos das bases de dados oficiais ou paralelas

o que não foram integrados e a pergunta é assim como combater o problema da não integração das bases de dados no setor público e fazer o uso dos registros administrativos na avaliação de políticas públicas em muito levantamento de dados aliás Renata você mencionou muita pesquisa hoje principalmente precisamos Celebrar pesquisa voltada para implementação que é para o mundo é uma novidade também em muitos países do mundo não havia Essa visão a trança da avaliação da implementação não mas ela me manda também que a gente integre base de dados levantamentos e sejam feitos eu vou acrescentar da

minha parte para qual uma questão que eu coloquei um conto é uma crítica no exterior dos dados brasileiros têm problemas de não serem aceitáveis então Paulo eu vou jogar para você essa dificuldade aqui são duas coisas ao mesmo tempo eu começo por é por essa última provocação de te dar recepção do exterior com relação aos dados eu me lembro na verdade que você tá falando de dados não produzidos por exemplo pelo IBGE e aí é feio é feio é porque Messi seja o IBGE seja fio cru seja o wi-fi na Instituto Nacional de Pesquisas espaciais

sejam e neto eu tô a raiva são eu sei que você sabe disso são instituições reconhecidas pela qualidade na realidade qualidade Técnica das informações e produzem inclusive reconhecido lá fora não é o a minha provocação já surgiu o primeiro é feito É isso aí só fácil estão mas eu reconheço por exemplo o Brasil é assim é é um campo Fantástico de produção de fake News de fato não é o Brasil eu fico imaginando Existe algum outro país onde se consegue distorcer o torturar tantos dados e itens usados na escala e alcance que tem né pela

população Então eu acho que isso e e também reconheço existem muitas vezes questões que produzem dados e ainda que tenham iniciativas meritórias mas não estão aí no vídeo de qualidade para serem usadas de um modo geral Então o que eu posso dizer Ângela que eu acho que é importante dele esse fórum aqui é que ir o esforço de qualificação dos registros administrativos e cadastros públicos do Brasil foi muito intenso nesses me tirado ele aqui nós só temos hoje nós temos diariamente de tarde de noite estatísticas de do povid de mortalidade incidência do convívio Presidente né

nessa escala mas porque nós temos todos os investimentos é de organização da informação na área de saúde já de muito tempo em qualidade não é de registro de diagnóstico de doenças e terra é nós temos um sistema de avaliação da Educação Básica Censo escolar muita qualidade pelos as estatísticas desmatamento além de precisa lá fora e temos as estatísticas bebê já tá militar reconhecidas aí agilidade presente que Deus já teve de o seguir a gripe lá o problema da pesquisa domiciliar fazendo pesquisa telefônica no final do vídeo então e a qualidade para dizer que eu vou

falar do cadarço no cadastro anos sociais que também se qualificou muito ao longo desse período tanto que fizemos a pesquisa se comparando os resultados do cadastro único ou em pesquisas amostrais e descontracção bastante convergente então nós temos de fato um grande o grande Legado de informação artística produzida mais eu te amo porque com a não possibilidade de concurso o né aposentadoria de muita gente e com a deslegitimação que muitas das nossas estatísticas oficiais passam né a partir de leituras equivocadas de autoridades bastante preocupante tá então eu queria trazer isso a e essa discussão e também

Ângela só agregando uma questão importante também que a Renata falou e fez uma excursão muito bacana e interessante que a questão com relação ao tempo né o tempo da gestão e o tempo da produção de informação e acrescentaria um tempo da apropriação da informação e tanto você contou Renata seu comentário e o tempo ainda da procriação e da implementação é porque muitas vezes as pessoas também uma visão ingênua do processo de que os resultados da avaliação e vamos ser rapidamente incorporados é tem toda a barreira de incorporação na de aplicação do conhecimento que é difícil

a gente tem que ter produtos diferenciados é para o ministro para o secretário para o implementador lá na ponta nós fizemos um esforço de capacitação Exatamente porque o gestor lá na ponta e o operador em nível de outro deve se apropriar o conhecimento que a gente produzia pensa as inovações incrementais não se dá lá na ponta no Brasil é um relógio né a gente muitas vezes imagina que a gente vai conseguir corrigir o Transatlântico né só conversando com o capitão do Transatlântico não dá que a gente precisa do pessoal na os barcos a Remo tentando

deslocar um povo Transatlântico para poder fazer e nesse sentido só finalizando eu acho que a gente tem que ser valer mais de uma coisa que infelizmente não consegui fazer né mas eu acho que cada vez mais importante suas a meta-análise e nós trabalhamos a gente já produz muito conhecimento nas universidades centros de pesquisa sobre vários problemas a gente tem que ter uma forma de sistematizar isso mais regularmente os achados de várias pesquisas certo e organizar isso de forma mais mastigar além também de a que horas várias experiências municipais de políticas públicas a gente tem muita

coisa legal sendo produzido Então acho que assim o Itaú Social e outras Fundações poderiam também ajudaram sentido de perceber as vezes universidades e programas de pós-graduação de documentar As Várias experiências porque o gestor Municipal vai ter muita dificuldade de documentar a experiência quem tá fazendo várias Aires isso tudo se a gente tivesse tudo nos mais organizado certamente facilitaria muito os gestores é em processo né nessa discutir unidades administrativas que a gente tem seja para implementar uma nova política para ver onde aqui onde é que ela funciona seja para ter disposição também na as avaliações que

já produziu sobre aquela pesquisa para saber os pontos nevrálgicos os pontos mais críticos enfim e a questão específica sobre a integração de registro administrativos eu diria o seguinte a gente sempre imagina ter mundo o que todos os registros administrativos todos os cadastros públicos em Machado e única olha eu realmente e não só isso é perigoso e a gente tá vendo claramente hoje no Brasil há risco seja pelo Facebook e outras mídias sociais mas a gente veio dos próprios erros né certo Deus se a gente tivesse um registro único eu confesso para você esperar muito preocupado

com essa possibilidade de uso integrado das informações acho que a gente tem pé realmente procedimentos muito bem acertado sobre Quais são os propósitos na integração de registro da iniciativas Porque isso pode na verdade P muitas vezes orientações muito além de realmente uma uma perspectiva avaliativa na Progressista mas na verdade a gente né usando aí o que é Renata ficou e pode ser tão ingênua a ponto de imaginar E essas essas integrações não são não serão analisadas menos para garantir direitos e mais três Clear pessoas a com base em informações equivocadas Então o que é muitos

procedimentos de avaliação né de cheka Gente alguém teoria do Bolsa Família às vezes apontavam inconsistências e tem a ver não com o Programa Quem vem inconsistências na declaração e das vezes de pessoas que nem são beneficiárias do bolsa família que muitas vezes registrar um imóvel ou automóvel no nome de um deliciar então enfim é a gente eu acho que tem técnicas de integração e registros administrativos e podem ser usadas mesmo com essas deficiências de registro mas eu acho que a gente é muito cuidado com sigilo das informações gente viu o Donald trump fazendo pressão sobre

o birô Censo americano durante o Censo americano certo não tem 80 anos com o IBGE tem o dobro do perto disso e ele fez pressão o Censo americano abre a informação sobre individualizada sobre condição de migração de americanos interessados nos seus American imagina se isso acontece com o Donald trump os Estados Unidos né ganhamos o convênio poderá acontecer no Brasil beijar é muito resistente é isso a surgir os dados do censo e vai continuar sendo assim mesmo mas eu queria chamar atenção sobre isso sobre essa Utopia tecnocrática que a gente tem hoje pesquisadores imaginar que

essas coisas é Neve esses imperativos éticos não são tão problemáticos assim no quadro né de e são precárias a gente tem no Brasil em termos de políticas públicas e sigilo de informações obrigado é obrigado a você para eu acho que isso Reforce os e o só que não vale abrir aqui agora mas é a discussão da ética dos algoritmos que está tomando conta do mundo que a gente não conhece porque é uma caixa-preta né é que vai trabalhar com dados aparentemente de forma neutra mas na realidade não é espuma lá são abertas há 2 anos

atrás na do congresso da associação americana de avaliação que envolve mais de 900 países eu vou mais 900 países lá para não concentrar eu vou entrar na toada dos municípios que temos duas perguntas sobre município para vocês dois dá uma delas é se é possível com a Prefeitura de pequeno porte consigo a desenhar uma rotina para incrementar o alterar o orçamento público EA execução de política pública e avaliação da efetividade dessa política Ah e por outro lado a outra pergunta que complementa isso é fazer como implementar análise estruturada de uma política pública numa estrutura administrativa

muito limitada como é o caso da maior parte dos municípios de pequeno porte então trazer a pergunta do município o município pequeno que a grande maioria a gente sabe que mais de oitenta por cento dos Municípios do país são de pequeno porte o que quer começar a Renata ou Paulo e no saco você é bem breve aí eu acho que a gente precisa fazer um esforço para os municípios de aprimorar nossa capacidade de planejamento então IBGE ipea que mude e as guardas estaduais reais Fundação João Pinheiro tem na Bahia em outras inscrições felizmente algumas já

foram tiradas com uma economia e estatística Rio Grande do Sul elas produzem trabalhos muito interessantes de Diagnósticos municipais como eu acho que os municípios assim a gente fica falando muito de avaliação mas eu tinha que você começa a dor no início a Ângela a gente está a melhorar nossa capacidade de elaboração de Diagnóstico pão do Sul um programa razoavelmente desenhado as chances de dar certo são melhores do que o problema que não teve um bom diagnóstico é um se a gente investir na produção de usar os dados do censo em escala micro territorializada que nos

permitem e fazer um diagnóstico com algum nível de profundidade nas várias áreas a gente já tem um bom conhecimento mas para isso a gente precisa o apoio das Universidades institutos federais no centro de pesquisa do uso das agências Estaduais de estatística no sítio que realmente Os Pequenos municípios não têm muita dificuldade em sentir a a demais eu acho que é mais do que fazer avaliações resultados vamos fazer na verdade diagnóstico de implementação e não se alguma coisa complicada métodos qualitativos na verdade sistematizado 300 não provocando reuniões técnicas e quinzenais entre as equipes ampliar o diálogo

dentro da prefeitura eu tive experiências de promoção de cursos de qualificação profissional em São Paulo e o que a gente vê aqui a secretaria de educação não conversava com o trabalho e quando dá assistência a gente precisa na verdade é articular mais as coisas dentro a prefeitura entendeu é mais diálogo e talvez diagnóstico do que propriamente avaliação de resultados que a gente precisa ir além disso eu acho que é isso capacitação na área de indicadores que a gente probos muita coisa você veja as avaliações educacionais a gente produz informação Rick cima e muitas vezes parece

que a única coisa que tem placa é a nota do Ideb 3,5 passou a 3,7 quando na verdade você tem um diagnóstico e que cima ali de para diagnosticar o que que as crianças aprenderam que não aprenderam determinar Então é isso eu acho que o que existe o esforço de capacitação dos técnicos municipais de desse apropriad o mundo de informações que já existem há para que ele possa melhorar a gestão deles sem necessariamente precisar e a Campo fazer né usar recursos para esse processo de o momento o monitoramento ao segundo passo primeiro diagnóstico depois de

monitoramento e né Depois avaliações mais formais de implementação e de resultar Oi Renata legal João fala assim que queria pegar um gancho com como que já nos trouxe eu faço cor hoje ah não usa eu acho que a gente tem que fazer mais a melhor ações diagnósticas e isso passa por tratamento acho que antes de fazer a fertilidade assim várias bases de dados sendo construídas em muitas áreas por exemplo na área e e dá mais de dados em um sentido administrativo mas tem o potencial analítico pensando na sede social por exemplo o Censo suas é

uma base Super Interessante com desagregação Municipal e que permite fazer um diagnóstico de paz são as capacidades instaladas naquela área e uma outra área que eu achei alguns a mais a gente já tem a vontado que era do georreferenciamento como é que eu pensei indicadores espaço alisados na escala dos municípios na isso tem tudo a ver com isso na metrópole e o tipo de coisa que a gente faz depósito em que faz Paulo falou do índio é o Inter Pioneiro na criação de pôsteres livre para fazer georreferenciamento como Terra Viva em vários outros como é

que a gente não mexe em conhecimento dos territórios e camadas de leitura de território e que eu consigo fazer com os indicadores especializados local onde estão as escolas onde está a demanda potencial aonde o deveria construir novas escolas onde deveria transferir crédito da onde estão as crianças mas pense a média entre setores censitários isso não é tão difícil de fazer isso não é um conhecimento cada vez algo que pode ser internalizado na gestão de um pequeno município como é que eu penso estatística espacial indicadores espacializadas e como é que eu cumprimento São Paulo intermitência muito

legal que o sem conduziu junto com a Secretaria Municipal foi o mapa da vulnerabilidade social lá na época da cisão da Easy isso é muito legal como é que eu trago estatístico demógrafo e assistente social e parte desses riscos desse diagnósticos eu consigo caracterizar os dados do censo nas causas setores censitários e o melhor dado entra Municipal que a gente tem desagregado né E aí como é que em cima disso eu coloco expertise das ciências é que sabe que ali naquele bairro naquele território de atuação tem óculos riscos e agravos que não tem como é

que eu junto esse pensamento a gente começou a saúde sabe de outros riscos e outros agravos e também então no senso Então esse deve das cartografias colaborativas né Eu acho que tem um ponto importante nessas perguntas que a gente de fato desmistificar o que é avaliação e monitoramento qual é o lugar dos indicadores qual lugar dos diagnósticos e uma parte dos diagnósticos começa a nesse já nos e falou será lindo que a gente mais uma experiência na troca de gestão e fazer mais trabalho ações de fazer revisões sistemáticas naquilo que já sabe daquilo que não

se sabe né um dos mantras da do movimento de política pública baseada em evidência exatamente ideia de revisão sistemática isso passa por essa ideia da minha trabalho ação como é que o olho para o passado né mesmo massagem foi Super Interessante não sei se o Paulo lembra disso uma secretária Nacional de uma área de política que eu e se deu esse trabalho antes de pedir novas avaliações ela pediu para gente apresentar para ela que começava a gestão que que tinha sido trabalhado quais áreas do conhecimento biológicas e quais os resultados o que já já sabia

e o que não sabia a gente não tá começando do zero cada vez que começa uma nova gestão tem um repositório de conhecimento acumulado na academia na administração e aí um pouco para pensar o lugar dos gestores nessa meta-avaliação e pernas um livro muito legal começou péssima de nome fica foi coletar aqui mais ou menos ainda fala sobre não vou lembrar esses líderes mas não reflexões sobre desafios de implementação a partir da perspectiva dos gestores Super indico ainda que academicamente possa ser desvalorizada como é que eu reúno gestores de diferentes níveis a deixa eu pegar

o título direito a sua aqui para pegar o barco fala peguei ações políticas atração de gestores públicos três as políticas recentes de redução das desigualdades em são exemplos super coloca os gestores para pensar sobre o que deu certo Eo que deu errado olhando para implementação e principalmente no momento que a gente tá Ângela é muito comum a gente tem umas que são normativa mal feito a simples né é um políticas públicas deveriam ser isso deveriam ser aquilo sem nenhum laço na velho um exemplo desse debate mais sobre intertextualidade como sempre se tornar se fosse uma

grande panacéia todo mundo defende integração de políticas mas é super desafiadores fazer isso funcionar as dessa integração acontecer não vamos estudar mais Quais são os condicionantes para implementação O que funciona o que não funciona E aí pensava que nos municípios gente pensar um certo tipo de perfil né E aí olhando de novo para o IBGE beijava tem lá as classificações de porte de município o tamanho eu tenho usar esse nas minhas análises quantitativas como é que o pênis Quais são as similaridades e o quanto porte um este de análise o quanto eu tenho assimilar dentes

pequenos municípios e outros esportes como é que eu aprendo o município similares isso é um certo tipo de lógica jamais né dizer que O que é complexo mais dizer que cada caso é um caso não é como é que a gente cria generalização analítica a partir do dado disponível terreno para a lente tentar uma avaliação de impacto e sofisticada uma consultoria que custa uma fortuna e depois ninguém consegue entender da econometria aplicada e não e não nada não é isso que a gente acha que tem que ser tem que ser feita essa coisa que o

Paulo concorda comigo nesse. e eu acho que é um bom esforço seria Você tocou no assunto comunicação EA comunicação para avaliação é é um dos eixos extremamente importantes e o diálogo como você já compraram várias vezes mas muitas vezes pequenos municípios não sabem nem por onde começar eu acho que uma boa sugestão para esse universo enorme de pessoas que trabalham com municípios de pequeno e médio porte no país seria buscar 11 especialistas às rotinas as ferramentas que vão facilitar a vida dele como você citou por exemplo que ela viu doente que é fantástico de georeferenciamento

e fazer um breve apanhado no como que ele pode ser utilizado e com o que fingir para que todo e qualquer município possa utilizá-lo eu vou eu vou usar como exemplo aqui claro eu trabalho muito hora de educação então infelizmente meus exemplos não vão ser muito Moraes É mas o que é por exemplo ao Gene faz com a mudança de mandato de secretário na época das eleições como nós estamos agora é produzir um memorial de gestão que fala exatamente Renata disse que você tá contando coisa o que que aconteceu o quê que já foi resolvido

que não foi e é uma vamos ver assim uma de boxe uma defesa que a gente faz muito grande de que todos os municípios façam esse tipo de atividade porque facilita a muito pouco tempo atrás no passado eram jogadas foras sabes as gavetas computadores eram levados e ninguém tinha informação nenhuma importante em levo prejuízo é o beneficiário você já o público interessado eu vamos lá vamos para o próximo agora eu vou eu vou fazer uma pergunta mais específica de contexto é tem uma pergunta que que faz o seguinte como ficam agora as políticas do SUS

atenção primária e foram para o ministério da economia e quem pode me responder é Oi Paulo Oi deixa eu só a falar uma coisa isso eu passei aí Ângela um livro que a Renata né Renata esse esse medo obrigada é o da Fiocruz é eu passo a avaliação conceitos e métodos isso 2011 Fiocruz Iozzi a é um artigo os primeiros bom então é bom eu acho isso que vocês estão vendo que no governo Temer a gente já a gente ainda tinha um certo pudor e as decisões de políticas públicas procuravam se legitimar se valendo de

métodos e técnicas que privilegiavam a [Música] eficiência como critério fundamental para a dizer o que presta o que não presto que funciona o que não funciona né Sem consideração a respeito de nível de cobertura nível de complexidade da implementação e assim por diante Então o que a gente passou a viver no Brasil 15 anos anteriores era o que Estados Unidos passou nos anos 60 70 e que o governo federal americano passaram muitos recursos para as Universidades é eso das cidades Ivanildo as técnicas então reconhecido os métodos verbo presente experimental e usavam e abusavam de simétrico

E deslegitimar os políticos porque eu nunca senti encontrar Impacto e dica nenhuma porque porque os programas Estados Unidos dos anos 70 é um pouco né Vamos recortar certo com muitas dificuldades como o Brasil teve ainda né nesse período muitos problemas eram tidos como implementados 24 vai experimentar tanto que o Peter Rossi criou as leis metálicas da avaliação é um deboche que ele faz as leis metálicas é mais ou menos seguinte qualquer política pública avaliada né com o melhor desenho de implementar de desenho experimental possível nunca vai constatar nenhum tipo de limpar entendeu então eu passo

isso eu acho que a gente usou e abusou desse tipo de técnico e eu posso dizer claramente que o Pronatec foi vi o programa super-herói e foi o programa de vítima desse tipo de estratégia de distorcer a determinados tipos de instrumentos avaliativos procurar mostrar que o programa não emprestava aquilo que ele destinado na verdade a gente tem outros vários pontos altos Onde comprar então eu acho que isso ainda avaliação ainda era um recurso para deslegitimar São de políticas públicas porque a na verdade para legitimar uma uma decisão ex-ante né Tá certo infelizmente é isso a

gente precisa falar muito claramente não é aqui não sejamos em gel tem avaliações são encomendados para que os resultados Acredite nesse objetivo tá E assim como vocês podem argumentar que existem avaliações são feitas para eventualmente para chancelar aquele que talvez seja duvidou por isso que eu acho que e vamo lá perspectivas né metanálise dá trabalho ações e deixar muito claro e avaliação de método em que contexto foi feito em que valores orientadores foram feitos nesse sentido de dois anos para cá verdade Parou tudo né gente né certo não se tem qualquer fim avaliação técnica na

proporção de das políticas públicas é muito amadorismo a gente antes a gente fazia falar em política pública orientada por evidências produzidas na em base de dados cubos agora política pública produzido a partir de aparências é governando pelo Facebook não é nem não é nem pesquisa de opinião é realmente informação que circula pelo Facebook culpa né e eu eu te falo não tão exaltado por quê Porque muito do esforço de municípios estados e Governo Federal o cinto ao longo de 25 anos tá se perdendo de pessoas que não conseguem mais acessar as séries históricas nos ministérios

em que eles buscavam nesse dar certo então gente tá perdendo rapidamente muita informação um bico disponibilizada seria assim absolutamente fundamental Mas é porque é por culpa enfim não existe existe zelo pela política pública né se não tem percepção de que a política pública tem méritos em si a informação para ela é realmente dispensável às vezes até Inconveniente porque na verdade mostra né como a gente tá vendo EA pobreza aumentou top Rua aumentou evasão escolar Infelizmente vai aumentar né E então eu direi isso que o no contexto atual e não só política pública cabeça e prestigiada

como avaliação tá desprestigiar volto a ressaltar na na emenda constitucional PEC s868 oi a a proposta de extinção da Constituição do artigo que preconiza a necessidade que estados e municípios definirão o PPA o plano plurianual Ou seja a emenda constitucional flexibilize o artigo 61 direitos sociais e abre mão do planejamento de Médio prazo Ou seja a gente vai do ver de Fato né na escuridão porque realmente nem olhando para frente a gente tá olhando um pouco retrato inteiro venhamos e convenhamos a gente tá vendo né governo federal nesse período um beijo beijo 2019 não tenho

como falar diferente e você a Renata quer complementar alguma coisa Renata não queria ver o Windows to que o Paulo falou que ia pagar um exemplo de consequências da desconsideração da implementação e dos instrumentos de implementação o próprio atropelo na implementação da renda básica emergencial na hora que ocorreu assando a gente saúde vai passando nas estruturas do suas antes cultura capilar todo mais expertise de como é que eu chego nos mais um grave sempre como é que eu tomo uma decisão ao tecnocrático de tubo ignora o que é o SUS que ignoram que ao sua

mão desses atores estão lá na conta desse desse conhecimento acumulado dessa interação e isso gera um milhão de problemas do ponto de vista de erro de focalização que ao ser humano não é não é um vazamento na borda né não é que de vazamento sentar você tem um erro de inclusão grotesco ou ainda bem que não tem nada a ver né cevada para eu ir para casa de alta e você tem gente informais vulneráveis Miseráveis situação de rua humanamente fora tem tudo a ver com não considerar a base de dados de toda a gente paramentação

era grandes consequências mesmo esse pau tava falando como é que a gente não apagam de dados na gente tem que fazer consórcio de mídia academia tem que entrar na saquinho Paulo tava falando em fato menos aparecendo que a gente gostaria mas ela tem muita chance Pioneiro surgindo tem uma rede solidária coordenado não numa ação entre intencional é super interessante como é que a gente avaliar por exemplo os desenhos diferentes propostas legislativas de renda básica na para todo mundo digital uma renda de cidadania indica quanto que custa Quais são as escolhas não é super interessante ver

tudo isso acontecendo e improváveis né camisas o sociólogo ficar pensando tudo isso de novo um lugar para o dado né mas a do 24 valores que Horizonte de inclusão e perspectivas de transformação e Reforma tributária eu vou fazer então a outra para o início da fala de Paulo como é que eu pude Esse princípio de transformação no momento crise tens considerar aquilo que a gente já sabe sobre implementação navio que as estratégias de implementação tem sido adotado nós estamos term quase chegando ao final aqui do nosso outro então eu vou fazer a última pergunta que

nós temos que vai Talvez até complexo ficar um pouco mais o que a gente já está tratando como desafiadora aqui nesse momento apesar da Boa Nova Renata que eu devo dizer que é a união de esforços entre academia e sociedade civil para poder vencer um movimento que está demolindo os valores e o juízo o e vem na no arcabouço da cultura brasileira que está assim pó rosto nesse momento se a gente vai mudar de forma de pensar no país a gente tem que pensar também propor um modelo de país diferente né e não entrar através

de instrumentos legais a intermediários né tem que haver uma discussão na no país que já está mais evoluído que portanto por estar mais alguns já já tem um movimento da sociedade civil com academia para reagir alguns algumas tentativas de desfazer o que está posto né que já caminha falando de continuidade aqui novamente Tipo de política pública né eu vou trazer agora para que vocês façam suas falas finais para que depois eu encerro a gente tem cinco minutos aqui ó está se perguntando aqui se a gente já tem setores mais estrutural estruturados e institucionalizados que estão

sofrendo esse tipo de desafio Imagine como que é culto E aí o que está mais desestruturada e depende muito de buscar dados pelo Diário Oficial é ainda pior eu queria que vocês finalizar se a fala de vocês nesses cinco minutos e me falasse um pouco a questão cultura que é muito importante para o país produz a quantidade de cultura que a gente produz na qualidade que a gente produz um Ah tá certo eu acho que de todos os Ministérios novos né cultura meio ambiente com exceção naturalmente do ministério Desenvolvimento Social mas presente Ministério de esportes

e outras secretarias especiais realmente os Ministérios da cultura fez um enorme rosto de estruturação do Sistema Nacional de informações de culturism ele previa fez efetivamente várias parcerias com o IBGE o objeto produzir muitas informações é no campo da cultura no campo da economia da cultura e infelizmente esse esforço foi interrompido né Eu acho que esse é um bom exemplo para quem não leves pós-graduação que tem pegar um pena de interessante de como uma política pública é entrou na agenda a agenda da cultura entrou como política pública nos anos Fernando Henrique depois identificado nos governos Dona

Dilma e como a o ministério para poder implementar as suas políticas Precisou se valer de informações estruturadas via IBGE e as outras inspeções para tocar essa Jing é um eu acho que esse é um bom exemplo bastante interessante Virtuoso né de política pública adiantado por evidências o campo completo é a cultura mais um esforço muito interessante nesse sentido ir finalizando porque o tempo já tá né estourando eu só queria Então agradecer Ângela e a sua a sua moderação sempre muito gentil sempre estou atenta e comentários muito inteligentes e também a participação ótimo excelente da Renata

né trazendo Oi aqui para mim também sobre a melhor necessária em fertilização da avaliação a partir da análise de políticas públicas da implementação e agradecer a participação e perguntas interessantes do público e ao nexo também pela oportunidade de nos trazer aqui fazer essa reflexão conjunta trazer ideias para todo mundo para inclusive para gente obrigado então pela pela moderação e parceria ah como queria começar sobre agradecendo a oportunidade daqui São Paulo virtualmente um prazer conhecer a Ângela conversa de mim e a legal quando a conversa flui sobre eu queria dizer eu tenho acompanhado na academia Paulo

na posse do super interessante sobre a implementação do Sistema Nacional de Cultura ao Dinheiro plante né sobre a implementação da Lei ao diretor que nos municípios começo não acho que é uma coisa bem interessante nós temos que tentar Ok o topo da história mudou a gente tem o governo federal amplamente favorável às suas agendas novas mas que faz a indução Federal que já existiu no passado Ilha troco maneira com tinta nos governos subnacionais é toda pesquisa da qual faço parte não é o nível de decisão de autonomia mesmo e políticas racionalmente reguladas entre os municípios

que ainda estão acontecendo tem jogo eu acho que a gente até por 17 graus Impacto ação decisório em Brasília em algumas áreas que a gente olha aqui em cima não tem mais segunda Super Interessante acontecendo nível dos vasos município como a criança sozinha e verão a gente Lucas importante mas tem sim estudos muito bacana sendo feitos até um monitor incrível que tá nesse momento fazendo mestrado exatamente sobre a implementação do Sistema Nacional de Cultura contratando pequenos municípios né e a gente olha muito para Metrópole lá não sei mas sim tem gente olhando nas diferentes contextos

eu acho que de fato de ser desse olhar mais diferentes perfis de município e aí pensando o perfil do município analiticamente não como Cada caso o nome esqueci mas enfim a gente tem tem muito jogo para ser jogado não sou pessimista não acho que a gente tem que reagir e resistir defender as bandeiras né Paulo defende a construção de 38 e defendem esse legal incipiente E aí na existir para existir Como diria o Arnaldo Antunes muito obrigada pela possibilidade de ter brigado Angeli Paulo e eu quero finalizar para agradecer o privilégio de tá aqui nesse

fórum junto com vocês dois a iniciativa do nexo também agradecer a Paula de ter tido a ideia de ter iniciativa do MEC políticas públicas que traz como você nem falou Renata uma uma conjunção positiva de jornalismo com densidade de pesquisa mas com a linguagem bastante aberta para que o público de maneira geral participe é é ótimo terminar sempre ficou uma visão positiva e eu também não sou pessimista não é só como você sou muito otimista eu acho que nós estamos com uma grande oportunidade da sociedade Civil III dos entes subnacionais que estão agindo tanto na

educação e você sinta cultura eu acho que temos um país hoje muito mais forte e apesar das fragilidades financeiras e econômicas que se passando acho que é a união desses da colaboração e presentes entre as o estado e empresas interessadas Estão sim defendendo algo importante da política pública brasileira vai fazer com que a gente saia dessa pandemia especificamente de maneira muito melhor eu acho que foi uma honra participar com dois professores Renata que eu não conhecia que gostei muitíssimo e já música Eu já conheço há muito tempo que sou admiradora eu quero desejar a todos

uma boa noite e muito obrigada E aí [Música]