IA que Aprende com GitHub!

seja muito bem-vindo seja muito bem-vindo a mais um tutorial de Inteligência Artificial aqui no canal ciência dos dados e no vídeo de hoje nesse tutorial você vai aprender uma parada Insana você vai utilizar o repositório do github como sua base de conhecimento para utilizar um llm que vai até o repositório do github e traz para você a base de conhecimento estruturada de forma que você possa fazer perguntas por meio de um chat e ele vai responder as suas dúvidas como se ele tivesse sido criador do repositório é meio que tipo tu tá tirando a cabeça

do cara que desenvolveu um software e colocando ali à disposição de uma pessoa que quer aprender algo sobre esse software é uma parada muito Insana e eu espero que você se divirta bastante nesse vídeo estamo junto então simbora meu nome é Eduardo para quem não me conhece aproveita aí já dá o Segue aí no no YouTube e no Instagram @c dosdados já segue lá também para você não perder esses tutoriais aqui porque verdadeiramente é um conteúdo de muito valor e pode te ajudar aí na sua jornada Beleza bora pra frente então estamos aqui diante de

uma aplicação onde nós vamos colocar Praticamente todo o conhecimento nas mãos de um desenvolvedor aí de aplicações com inteligência artificial para is isso basta que ele tenha ah acesso a essa base de conhecimento e esse tipo de produto ele é muito útil em empresas onde a gente tem vários níveis de profissionais Então imagina aí que você tem um profissional Senior que ele já desenvolveu n aplicações inúmeras aplicações essas aplicações estão aí obviamente em algum repositório Empresarial vamos supor que esse repositório seja o Git Hub como a maioria das empresas utiliza e você precisa extrair conhecimento

de um repositório Onde existem muitos códigos existem n aplicações ali dentro só que eh você não tem tempo de treinar a pessoa para que ela vire o Senior né você precisa entregar uma base de conhecimento ou colocar o Senior ao lado ali do plan do Júnior para fazer a parada acontecer e é isso que você vai aprender a desenvolver a partir de agora estamos junto então trouxe aqui o exemplo do github do ciência dos dados Então nós vamos utilizar aqui uma aplicação onde Ah nesse pipeline nós vamos colocar o conhecimento de um repositório específico na

mão de uma pessoa que precise desenvolver a aplicação que está nesse repositório então a aplicação que a gente vai desenvolver é essa aqui nós temos aqui um um rag Systems né aquele sistema onde a gente utiliza ali a um um um livro um PDF uma biblioteca que for Ah uma base de dados a gente utilizou a Bíblia em um dos treinamentos aqui num dos tutoriais anteriormente Então a gente vai pegar esse Case né um Case que está aqui armazenado um software que está armazenado num repositório aqui da ciência dos dados e nós vamos colocar esse

repositório como um assistente para que a pessoa que vai a aprender sobre esse repositório ela não simplesmente precise clicar aqui abrir o repositório e entender o que que a codificação que está aqui dentro faz de antemão essa codificação né como como a gente já conversou ela é um sistema de hag onde a gente adiciona ali o a gente faz um q&a né a gente fazem perguntas e respostas também eh e nós vamos utilizar um uma uma ia né Nós vamos desenvolver juntos aqui uma ia que vai navegar nesse código e vai responder pra gente as

coisas que estão aqui que foram utilizadas para eh desenvolver esse software tá bom ele é um q&a né com processamento de linguagem natural e nós vamos colocar aqui esse contexto como a base de conhecimento dentro do nosso software que a gente vai armazenar então no frigid dos ovos vai ficar mais ou menos assim vou desenhar para você esse aqui é o banco de conhecimento então ele é o repositório Tá bom então nós temos aqui o repositório ele é a fonte beleza ele é a fonte de água aqui ah que vai alimentar aqui a nossa plantação

tá bom a nossa plantação ela vai fazer o seguinte ó nós vamos criar uma Iá aqui embaixo é a nossa plantação nós vamos criar a nossa ia e a nossa ia ela vai ajudar a gente a responder coisas sobre essa parada aqui então eu vou vir aqui e vou perguntar cara que sistema é esse que aí o a o próprio llm né o nosso grande modelo de linguagem que nós vamos utilizar podemos utilizar qualquer um eu trouxe exemplo de código aqui para você utiliza na Open ai mas eu trouxe aqui dos modelos do meta também

na codificação mas aqui a gente vai usar esse específico aqui com Open ai Beleza então ó Open ai llm né a gente vai utilizar o GPT 4 GPT 4 vai vir aqui vai aprender vai buscar essas informações a gente vai utilizar essas informações ele vai aprender e ele vai devolver a resposta aqui para você ó Isso aqui é um sistema de hag isso aqui a gente tá fazendo uma coleta de um PDF para que a gente responda de acordo com esse PDF beleza deu para entender vai ficar mais claro Quando a gente tiver resolvendo essa

parada Então esse é o repositório que a gente vai utilizar você vê que ele tem a aplicação Python tem um readme simples né perguntas e respostas a um a um PDF com o lchin a biblioteca que que a gente vai utilizar inclusive se você ainda não fez os treinamentos aqui na sência dos dados Eu dedico módulos exclusivos só sobre L chain de tão importante que é essa biblioteca Python tá bom beleza aí nós vamos fazer esse trabalho em cima dessa parada e vamos começar esse negócio agora eu vou abrir o vs code para você e

aqui ah está o a stack que a gente vai utilizar né Então na verdade estão os códigos que a gente vai utilizar se você for olhar aqui a estrutura ah de trabalho ela é de certa forma a gente vai trazer ali múltiplas informações né então e a gente vai falar hoje sobre deixa eu abrir aqui para ficar mais simples para você vou abrir um mapa mental aqui só para ficar claro a stack de tecnologia aqui que você vai utilizar só nesse Case aqui de hoje tá bom a gente vai fazer uma parada massa e eu

quero deixar ela bem organizadinha para você porque isso aqui vai ser muito importante para que você compreenda todo o processo tudo que a gente tá fazendo aqui Tá bom é preciso desenhar essa parada aqui eu não vou conseguir entrar em completamente 100% dos detalhes mas isso aqui já vai te dar uma luz muito massa tá bom ah então vamos lá esse é o nosso o nosso chat ah with chat with github é isso que a gente vai fazer hoje Tá bom a gente vai colocar o nosso a gente vai colocar o nosso github para ser

o nosso o nosso a nossa ia tá bom então vou colocar aqui ó o chat vou tirar esse wif aqui ó vou colocar aqui eh colocar um nome mais para você entender o que a gente vai fazer né E a chat github Então beleza que que a gente vai utilizar a gente vai precisar entender o github o github E aí é for Dev né development né Para que você precisa entender um pouco além do que simplesmente criar o repositório a gente vai fazer um passo a passo aqui junto para buscar um token porque não é

simplesmente escolher qualquer github e trazer para cá né a gente vai precisar ter uma estrutura de autenticação via token Então isso é muito importante que mais nós vamos falar de L chain né que é o o a a estrutura de encadeamento que a gente vai utilizar para fazer o chat nós vamos falar de llm nós vamos falar da própria Open Ai nós estamos aqui ah deixa eu olhar mais aqui né Vamos olhar o repositório para ver o que que mais tem aqui né a gente vai est falando de bibliotecas como eh P github né então

nós estamos aqui falando já da programação Python Ah nós vamos falar do P github tem uma outra biblioteca interessante aqui que é a e Git Python são bibliotecas diferentes pra gente lidar aqui com a a estrutura de conexão que a gente vai precisar fazer com github tá bom ah eu acho que é isso tá bom essa é a nossa stack aqui só nesse vídeo A gente já vai estar trabalhando com coisa para caramba para que a gente possa aí desenvolver a nossa aplicação a nossa ia que vai ser um nosso chat né o nosso chat

que vai navegar beber do github do repositório para ser o nosso assistente Então beleza bora pra frente então vamos lá nós temos aqui a nossa estrutura né a nossa estrutura nós vamos trabalhar aqui ah esse eu deixei um código aqui pronto para que depois você ah utilize essa interface aqui para aprender como que você pode buscar o modelo da Meta que é o lama 3 mas hoje a gente vai utilizar o software que bebe do nosso github tá bom que bebe do nosso da da Open a beleza a estrutura do software vai ser simples nós

vamos colocar deixa eu habilitar ele aqui para você já para você visualizar o que que ele vai ter e depois você vai ver ele trabalhando você vai criar um ambiente virtual aí tá bom depois que você cria o ambiente virtual é o Python menos mvv ah você faz a instalação né as as bibliotecas que que necessariamente vão ser eh úteis para você desenvolver esse projeto Ah se porventura na hora que você tiver rodando esse script atentar para o log de erro para você ver se talvez o seu ambiente virtual precisa instalar mais algum pacote isso

é muito normal tá bom então não é o erro tão difícil de se corrigir a maioria dos erros é instale uma biblioteca que ela é um requisito pro software funcionar então PIP install você sabe fazer na manha Então bora pra frente Ah agora a gente vai eu vou abrir a a aplicação com streamlit para que você visualize aqui como que ela vai trabalhar ah Inicialmente um um um um chat simples nós vamos ter aqui uma pegada Inicial Ah o nosso software né vai vai requerer uma Key do github Tá bom então ó vai ter uma

Key do github você vai ter que colocar a da Open ai tudo bem então você vai ter que ter aqui da Open ai e depois você vai iniciar a ah você vai colocar o repositório né então eu já preparei aqui a estrutura para você colocar o r Tá bom então você vai colocar o r deixa eu já aquele pegou aqui ó e depois eu vou zerar aqui os os as Keys né vou te mostrar como é que a gente cria tudo isso aqui daqui a pouquinho então T relax Então esse aqui é o token do

github Beleza você vai precisar criar um token vou habilitar esse token depois Open I Key também vou copiar aqui openi Key vou dar um enter E aí a partir de agora você vai colocar o repositório né nesse formato aqui tá ó o repositório e o nome dele tá bom então por exemplo eu vou pegar esse repositório aqui aqui ó que é ciência dos dados a lchin não copia tudo Não beleza presta atenção na instrução aqui ó é o dono que é cência dos dados e o repositório l chain app Beleza você Dá um enter E

aí ele vai habilitar para você aqui a o chat para que você faça aí a consulta Beleza vai dar essa mensagem aqui verdinha Ok e agora você faz a questão aí você vai fazer a pergunta sobre o software Tá bom então a gente vai fazer o overview desse desse processo dessa I aqui e aí no final a gente vai fazer o teste tá bom T deixa pro final que é para você ficar atento no vídeo aqui tá bom então bora pra frente cara olha só que legal nós temos aqui uma estrutura bem bem chuta né

Essa estrutura bem chuta aqui eu trago para você um um uma uma estrutura onde eu vou explicar ah de forma bem simpl o que que a gente tá fazendo aqui atentar para duas duas funções aqui que são as funções mais diretas você vai ver que o o o Tchan da parada aqui é como que eu busco o dado no repositório do github E como que eu faço o llm utilizar essa parada para que ele eh não aprenda Mas para que ele utilize essa estrutura de conhecimento do repositório para me responder aqui é um pouco diferente

do do do fine tuny que a gente chama né que é do treinamento em si a ele tá indo numa ele vai fazer uma consulta e depois vai responder ele não vai precisar ser treinado e depois responder entendeu aqui a estrutura é um pouco diferente ele vai utilizar o próprio repositório para que ele possa utilizar as Skills que ele já tem né que o llm já foi treinado para que ele faça a resposta Tá bom então bora pra frente aqui que que a gente tem olha só que massa Ah a gente vai importar aqui algumas

funcionalidades né e as duas Fun finalidades principais aqui são a o Epic ele tá aqui dentro do que a gente chama de pipeline para trazer as informações e o github Loader que é o a funcionalidade que vai carregar esses dados para que o nosso app funcione beleza ademais a estrutura de frontend aqui a gente tá usando praticamente o streamlit e o sistema operacional para ele Navegar ali e e a gente fazer ali a a junção das pastinhas para que que V no repositório de forma certinha é só ajuste Tá bom é só processamento Então bora

pra frente ah usando stream lit né a gente vai colocar o stream leit para criar a aplicação como você já viu aqui ele vai trazer ali a mensagem né um título né para você colocar o repositório ah do github Ah e depois que que a gente vai fazer a gente vai pedir para que ele coloque para que você coloque né uma numa caixinha que é essa caixinha aqui o text input para você colocar o github tuing Tá bom até agora só só coloca informação né ah a gente vai fazer um wif aqui ó para que

ele utilize o github loader para colocar a fazer o carregamento ali do nosso token né Então a partir do momento que ele carrega o token do github Por meio dessa funcionalidade aqui do github Loader ele vai fazer ali a o armazenamento do nosso token Beleza depois a gente vai utilizar um outro if que é beleza eu coloquei o o a estrutura do Token ag do Token do Git agora eu quero trazer a o token aqui da Open a Key então mais uma caixinha de texto para você inserir E aí Aqui também para que você coloque

aqui a informação da openi Key mais embaixo agora o próprio repositório né então a gente vai criar estrutura de repositório também text input coloco a funcionalidade lá dentro trago coloco aqui o formato que eu quero né o formato é o e o Apple E aí aqui que tá a a a forma né de como que ele vai fazer a junção né Pega a a aplicação Coloca a estrutura do github depois a gente colocou toda a estrutura do github a gente utiliza essa função ó a gente vai adicionar a base de conhecimento Então essa linhazinha aqui

que a gente tá trazendo aqui do pipeline né que tá dentro do embed chain a gente vai fazer o seguinte a gente vai praticamente adicionar né então eu pego o repositório né armazeno ele aqui nessa estrutura né no no no Loader que a gente chama e depois é que a gente vai fazer a a o encadeamento Né o encadeamento para que a gente possa fazer ali e responder uma pergunta qualquer sobre o repositório Beleza então ó ó veja como a estrutura ela é relativamente simples né aqui eu tô utilizando o o que a gente carregou

ah do embed chain então praticamente organizamos aqui a estrutura de opa pego as informações coloco as informações deixo aqui o a openi acessar essas informações e fazer a resposta pra gente tamos junto Beleza então ótimo a partir de agora o que a gente vai fazer é ele depois que a gente habilita que cria essa instrução a gente pode fazer a nossa a nossa navegação aqui antes eu quero te mostrar como que a gente busca essa informação do github tucking para você não ficar viajando de p Imagino que você já saiba eu vou dar uma passada

aqui mas do github Bora lá primeiro entra no seu repositório Você vai clicar deixa eu mudar aqui a minha câmera que eu sei que que que fica na frente né deixa eu mudar a câmera aqui um pouquinho você vai acessar aqui a sua imagenzinha aqui do seu repositório né tu vai aqui em settings aqui embaixo beleza settings vou voltar a câmera para não ficar na frente Beleza depois que você vai em settings você vem aqui pra aba lateral esquerda e vai descer até o final que é onde tem ali as Skills ali os settings de

desenvolvedores Tá bom então você vai clicar aqui em develop settings E aí tu vai clicar aqui embaixo em personal access token aqui em personal access token você vai aqui em tokens Classic depois que você vai em tokens Classic você pode generate token tá bom você cria aqui um token Classic e ao gerar um token Classic você vai dar um nome como eu dei aqui ó llm 2 llm São tokens que eu estou aqui fazendo a esse trabalho e aí você vai receber o token desse jeito aqui onde você vai simplesmente copiar e colar aqui no

seu software beleza Open a aqui vou lá na Open aqui também só para você ah só para você visualizar Então você loga aí no no site da openi vem aqui em products deixa ele habilitar aqui vou fechar do github que a gente já usou você deixa ele dar uma carregada vem aqui embaixo é api login tá bom vai em API login api e a partir de agora se você não tem um projeto padrão né você precisa criar um projeto default você vai criar um um projeto padrão ah api aqui é a referência para você aprender

né a Como que você pode utilizar as apis Como que você faz as chamadas as apis as bibliotecas que você precisa instalar seja no no Python ou no node né a gente tem aqui a o npm também forma de você instalar Ah aqui embaixo quando você desce aqui você vai ver aqui ó Project api que na aba esquerda Project api Keys e aí você vai listar né os seus as suas apis né então vou clicar aqui beleza aqui dentro da Open ai você vai vir aqui na no seu projeto pessoal dentro do seu projeto pessoal

aí que você vai criar né Você vai precisar criar agora um projeto para esse pessoal porque tem muitas empresas que utilizam agora né ou você pode criar um novo projeto né eu tô dentro do organizational overview que é essa essa funcionalidade e aqui dentro eu tenho aqui a minha apiq eu posso criar uma nova api ke tá bom criei e eu tô utilizando essa api aqui tá bom Create New eu vou posso colocar aqui sei lá Git né do github Ah vou colocar o projeto default e crie a sua Secret Key né então tô criando

uma nova Key que é exatamente essa aqui que eu utilizei aqui nessa nossa aplicação Tá bom vou fechar essa parada aqui vou deixar aqui depois eu tenho que simplesmente Apagar todas essas Keys aqui né simplesmente para que a gente não tenha um custo adicional Mas essa é a estruturação de obtenção das kys para você fazer essa parada acontecer Tá bom agora a gente vai finalmente utilizar essa parada então por exemplo eu vou fazer uma questão aqui a simples né é de que se trata e esse repositório ah o que ele cria né E aí você

manda a pergunta para o para o modelo né então o modelo vai agora o llm vai até o repositório né ele aprende com o repositório E aí ele traz a resposta as a resposta para você então esse essa ia que você tá desenvolvendo ela praticamente é uma ia que navega num software e explica para você né Então olha só a importância disso aqui e a escala que isso pode gerar né então ele vai explicar aqui pra gente ó esse repositório trata da criação de um código que possibilita carregar diversos documentos como eu te falei né

né oou PDF arquivo de texto csv documentos Word imagem como é com isso é possível realizar perguntas e respostas o q&a né ah utilizando a ia Além disso O repositório oferece componentes interativos Ah para interagir com aplicativo upload de arquivos inserção de chave da opena e inserção de perguntas Olha que insano né então acabamos de criar uma ia que navega em outras Iá entende o que que ela tá fazendo e traz aqui pra gente né como se fosse um assistente a explicação daquilo que é feito e realizado nessa parada e aqui você pode continuar fazendo

eu coloquei uma estrutura simples mas você pode continuar fazendo perguntas né nesse caso eu não tô armazenando mas ele pode também a ser utilizado para armazenar né a interação né até mesmo porque questões de gestão né então você entrega ali um desenvolvedor e o desenvolvedor tem praticamente um assistente na tua mão ele tem um software Ah não tô conseguindo aprender esse software tal tá usando a ia que te explica o que que é esse software Ah tô Ah beleza Ah então você gera deixa eu ver se você tá usando Essa parada mesmo e aí você

armazena essas interações que os desenvolvedores vão fazendo para que você Gere um report gerencial né E esse reporte gerencial é quais foram as dúvidas desses caras desses técnicos né desses desenvolvedores né o que que eles estão fazendo aqui que a gente pode melhorar né a a a nossa base de treinamento para fazer esses desenvolvedores evoluírem profissionalmente cara a cabeça vai e explode você pode fazer un zilhão de projetos em cima tá bom então eu tô que nem João Batista aqui né eu tô mostrando o caminho para você cara ó o caminho tá aqui dá para

você fazer um milhão de coisas e eu espero que você seja o Jesus aí né e utilize essa parada aí para ajudar as empresas tamos junto Beleza Espero que você tenha gostado desse projeto se você gostou compartilhe Tá bom já deixa aí não não se esquece de seguir eu vou deixar toda essa a documentação desse projeto aqui no nosso na nossa na descrição desse vídeo tá bom na descrição desse vídeo você vai ver onde você busca esse banco de conhecimentos estamos junto uma honra um beijo um abraço simbora a gente se vê em breve tchau

tchau i