Aula 37 - Como Criar sua Própria IA com Dados Próprios e Sem Custo usando LM Studio e Anything LLM

E aí pessoal tudo bem eu sou o professor Fábio Santos e nesta vídeoaula eu iria abordar o tema treine a sua própria inteligência artificial com dados próprios e sem custo pessoal na videoaula passada eu mostrei como é possível nós criarmos o o nosso nosso próprio Clone por meio de inteligência artificial no entanto eu usei ferramentas pagas ferramentas comerciais para treinar uma inteligência artificial com o meu conhecimento visando a criação de um clone E aí eu recebi várias mensagens colegas que que acompanham o meu canal me pedindo para que eu mostrasse como é possível trabalhar com inteligência artificial de uma forma gratuita e Exatamente Essa Ideia Esse é o objetivo principal deste vídeo beleza Então pessoal eu irei agora realizar uma breve demonstração de uma inteligência artificial que ela foi treinada para Responder questões acerca deste artigo científico aqui utilizando redes neurais convolucionais para automatizar a detecção de defeitos físicos em módulos de memória na indústria 4. 0 então é um artigo que ele tem seis páginas certo e esse artigo conforme foi apresentado no título ele trata do emprego de redes neurais convolucionais arquiteturas distintas para o treinamento de modelos de visão computacional que tem como objetivo detectar defeitos em pcbs em placas de circuito eletrônico beleza pessoal E aí eu vou mostrar como eu treinei uma inteligência artificial usando ferramentas gratuitas para que ela pudesse Responder questões acerca do conhecimento que foi publicado neste neste artigo pessoal eu irei Uma Breve demonstração da Inteligência Artificial que foi treinada baseada neste conteúdo e na sequência eu irei Explicar sobre as ferramentas que foram empregadas e mostrar como usar essas ferramentas para treinar uma inteligência artificial com dados próprios isso é legal porque trata uma questão muito importante da Inteligência Artificial que é a privacidade dos dados beleza Ok então vamos lá pra demonstração pessoal para realizar demonstração eu irei carregar uma das Ferramentas que eu utilizei para criar essa inteligência artificial que é a ferramenta NF llm essa ferramenta eu irei agora utilizá-la Para viabilizar que eu possa interagir com a inteligência artificial que foi treinada beleza então eu irei fazer algumas perguntas para ela e analisar as respostas Vale ressaltar que as perguntas que eu irei fazer são relacionadas a este artigo Tudo bem então como esse artigo ele trata do treinamento de modelos de redes neuris convolucionais com objetivo de e gerar modelos que serão utilizados para detectar defeitos físicos em em placas de circuito e eletrônico eu vou fazer algumas perguntas especialmente relacionadas ao treinamento relacionado eh ao ao desempenho eh dos modelos Tudo bem então vamos lá primeira pergunta que eu irei fazer qual qual foi o modelo de CNN que apresentou a melhor acurácia no estudo referido mobilenet com a configuração 22 foi considerado o modelo de CNN que apresentou a melhor acurácia para detecção de físicos em mais de módulo de memória legal né pessoal legal então foi a CNN mobilenet eu vou perguntar então qual foi a acurácia certo Qual foi a a qual foi a curcia do modelo que apresentou o melhor desempenho Qual foi a acurácia do modelo que apresentou o melhor desempenho o modelo de CNN que apresentou melhor desempenho foi net com uma acurácia de 98,12 por. muito legal se eu clico aqui ó show citation é possível visualizar a fonte no caso é o artigo né Exatamente esse artigo aqui então agora eu vou verificar se realmente ela respondeu de uma forma correta Ok ã vamos observar Justamente a parte do texto que apresenta os resultados né então acho que esse tá aqui tá aqui ó a melhor CNN que obteve né o melhor valor de acurácia foi a arquitetura mobile net ele acertou aí acertou e atingiu a acurácia de 98,12 muito legal acertou né vou fazer mais uma mais uma pergunta Quais são as razões las quais o modelo um malinet obteve a melhor acurácia acurácia beleza vamos ver se ele vai acertar no estudo referido a uma Marinete obteve a melhor curaça devido à seguintes razões utilização de técnica de trans felan para iniciar o treinamento eh dos modelos com uma rede neural prét treinada com dados de reconhecimento de caracteres que permitiu modelo se treinado mais rápido e eficiente utilização de técnicas de data argumentation para aumentar a quantidade de dados disponíveis para treinamento validação e teste dos modelos permitindo que o modelo eh a ser treinado com uma variação maior de dados e reduzir erros causado por sobre Fit overfit aqui ele acho que el se confundiu atualização de técnicas de regularização para evitar o vfit dos modelos como drout é realmente é é uma resposta coerente e ela é compatível com o conteúdo do artigo eh Há várias razões pelas quais o mobilenet pode ter obtido uma acuracia melhor nesses resultados específicos uma razão é Comet foi projetado especificamente para ser para ser utilizar dispositivos móveis com eficiência computacional e crucial sempre é interessante a gente comparar né Eh o o a resposta com o conteúdo para nós analisarmos a fidelidade eh a a confiança da resposta do do modelo né até uma forma de de avaliação bom beleza pessoal então vocês viram aí que a a ia ela apresentou um um bom um bom desempenho beleza ferramentas pessoal as principais ferramentas que foram empregadas Para viabilizar a criação e o funcionamento da Inteligência Artificial são a NF llm que agora a pouco eu realizei Uma Breve demonstração e a LM Studio observem que essas duas ferramentas elas estão integradas essa integração viabiliza o funcionamento da Inteligência Artificial eu vou agora explicar cada uma delas a primeira LM Studio é uma ferramenta que viabiliza nós criarmos o que nós chamamos de servidor de inferência na nossa própria máquina desta forma torna-se possível executar na nossa máquina llms Open sourcer como lama 2 Mistral Falco mpt Blue e entre outros llms open source beleza OK então eu estou utilizando a LM Studio para tornar possível rodar na minha máquina determinados llms desta forma não é necessário eu ter que pagar por exemplo eh para consumir a openi eh api por exemplo ou a gem Gemini pro api por exemplo né eu posso eh rodar na minha própria máquina llms open source gratuitos por meio da ferramenta LM Stúdio legal né e o outro detalhe interessante é que essa L essa ferramenta LM Studio ela torna possível que esses lnms eles possam ser consumidos por aplicativos por meio de uma API daqui a pouco eu vou mostrar para vocês beleza com mais detalhes né o funcionamento dessa ferramenta a segunda ferramenta NF llm ela funciona sobre a LM Stúdio ela fornece suporte para o treinamento da Inteligência Artificial treinamento a partir de um llm carregado a partir de um modelo carregado por meio da ferramenta LM Studio Beleza então uma vez que eu eh configurei a LM Stúdio para que ela carregasse um determinado LM Como por exemplo o Mistral que é o que eu estou utilizando a outra ferramenta aning llm ela vai por meio da por meio da LM Stúdio utilizar a llm Mistral para realizar o treinamento legal né e uma vez que o treinamento é realizado a ferramenta ning llm ela permite que o usuário ele possa interagir com a inteligência artificial treinada ou permite inclusive também através de uma API que uma aplicação possa usar a i que foi treinada em uma próxima videoaula Eu pretendo mostrar como fazer isso beleza pessoal então vou fazer o seguinte eu vou acessar o site da ferramenta LM Studio certo e é muito simples pessoal existe versões da ferramenta para windows para Linux para para Mac Basta fazer o download do Instalador é uma instalação padrão beleza no meu caso tá rodando numa máquina Windows né então vi aqui na opção download LM Studio for Windows fiz o download e rodei o assistente de instalação Instalação padrão não tem mistério pessoal Beleza eu vou colocar na descrição deste vídeo a URL deste site na sequência eu quero mostrar para vocês aqui o site da ferramenta anything LM da mesma forma existe versões dessa ferramenta para windows para Linux para Mac Beleza então basta fazer o download do assistente de instalação e rodar não tem mistério para instalar a ferramenta NF llm Ok bom vou fazer o seguinte agora eu vou mostrar para vocês a ferramenta LM Studio e tá aqui a ferramenta LM Studio pessoal aqui nós temos um menu com algumas opções opção home a opção para realizar busca por modelos a opção chat que viabiliza que a gente possa conversar com um determinado llm a opção de suporte ao local server Ou seja eu posso Como já havia falado né Eh rodar na minha máquina um servidor de inferência que terá eh como base um determinado llm que foi carregado e eu tenho a opção my mods Onde eu consigo visualizar os modelos que eu fiz o download Ok eu vou acessar aqui a a home e olha só que legal essa é a interface principal e ela mostra que o LM Studio ele fornece suporte a llms open source Como eu havia falado nós temos aqui ó alguns deles ó o lama o Mistral o f 2 o Falcon starcode stable LM GPT nels x beleza todos esses modelos é importante ressaltar eles devem estar num formato de qu quantização que é o GG o f beleza pessoal certo eu vou agora acessar aqui a opção my models e observem que eu fiz o download de um llm de uma Eh vamos dizer assim de uma versão do Mistral que é a Mistral 7B ou seja ou seja S bilhões de parâmetros né instruct v0 Q2 under k Então essa é a versão do modelo que eu fiz download por meio da própria ferramenta e é o modelo que está carregado eu vou vir aqui ó na opção local server e observem que o modelo que está em uso é exatamente o Mistral structor está carregado beleza e um detalhe importante é ó local inferência serve ou seja servidor de inferência local observem que o servidor de inferência ele está ativo né ele está ativo aqui é possível observar a porta de acesso ao servidor de inferência e aqui ao lado é possível nós visualizarmos exemplos de código e que permitem que a gente possa eh desenvolver um uma aplicação baseada no o llm que está carregado tá então aqui tem exemplo de código para assistente para chat né o famoso Hall World beleza e aqui ó aqui no ao lado neste nesta barra aqui de ferramentas nós temos aqui eh algumas opções de configuração beleza por exemplo GPU número de camadas tamanho da janela de contexto certo eu vou ver se eu eh brevemente gravo uma videoaula explicando com mais detalhes essa essa essa ferramenta certo então basicamente o que eu fiz foi fazer o download né o download e desta versão do Mistral beleza e ativei o local inference server beleza para que o LM Stúdio ele forneça suporte ao Mistral basicamente isso ok pessoal basicamente isso para testar eu posso por exemplo vir aqui ó na opção aat e eu posso conversar né com o com o modelo né Vale ressaltar como eu estou com o servidor ativo eu não posso neste momento interagir e conversar com o servidor eu teria que pará-lo para poder iniciar mas eu não vou fazer isso porque eu irei agora eh mostrar para vocês a outra ferramenta que é a ferramenta ining llm Beleza então agora a pouco né Nós vimos eh que eu interagi com a inteligência artificial através desta ferramenta Beleza eu vou fazer o seguinte ó ó eu vou agora e mostrar para vocês passo a passo como realizar um treinamento de uma inteligência artificial Por meio dessa ferramenta e como interagir com o llm Beleza então vamos fazer o seguinte ó primeira coisa que nós precisamos fazer quando a gente acessa a ferramenta é configurar certo configurar a a algumas preferências vocês estão vendo aqui ó esse ícone eu vou clicar nele é o ícone correspondente a configurar ferramentas algumas opções né Nós temos aqui algumas opções pessoal as principais opções que normalmente a gente vai eh definir é a llm preference em bebed Model e Vector Database beleza em llm preference nós iremos especificar qual será a a ferramenta de suporte a LM que estará integrada ao en fing então nós temos aqui uma lista ó Open Eye euser Open Eye antropic Jini hangf olama observem aqui ó LM Studio Inclusive essa seleção tá indicando que é a ferramenta que eu havia previamente eh escolhido beleza é a ferramenta que fornece suporte a llm observem aqui ó eh você pode descobrir né Fazer download executar centenas de lnms né como havia falado para vocês então quando a gente seleciona aqui Ó nesses dois Campos que vocês estão vendo é possível a gente especificar a URL a URL correspondente a a api a api é da ferramenta L LM Studio que é ex examente aqui ó a observem aqui ó a URL né correspondente a api que tá rodando no servidor de referência beleza e eu também devo especificar aqui o tamanho da janela de contexto aqui eu coloquei eh 4.

096 tokens certo uma outra definição importante é com relação ao modelo de embb que vai ser utilizado observem que tem várias opções aqui eu sugiro sempre usar essa primeira aqui ó nink LM em beeder e a outra opção importante Vector Database aqui é possível nós visualizarmos uma lista de banco de dados vetoriais banco de dados vetoriais local Ou seja que roda na máquina do usuário ou que roda na nuvem eu recomendo selecionar essa primeira opção aqui ó o lance DB que é um banco de dadas vetorial que ele roda na própria máquina modo local mas tem o chroma tem o pinecone pinecone roda na nuvem Beleza tem outras opções aqui Então essas são as principais vamos dizer assim definições de configuração que devem ser feitas Ok feito isso o próximo passo é criar um workspace ou seja um espaço de trabalho então eu vou criar aqui um workspace Vou Chamar esse workspace de YouTube YouTube Beleza YouTube Então agora eu vou usar esse workspace para treinar a minha inteligência artificial para fazer isso observem ó eu vou clicar aqui ó para enviar enviar através dessa interface os dados que serão utilizados para treinar a inteligência artificial certo o título desta vula ente treinar uma inteligência artificial própria por meio dos seus dos seus dados né então eu posso eh fazer aqui ó o o upload de dados em vários formatos Eu posso enviar dados no formato TXT né arquivo TXT no formato csv Eu posso enviar eh no formato Speed Speed sheets posso enviar arquivos de áudio imagens inclusive certo eu já havia é enviado um PDF que é exatamente o pdf correspondente a este artigo Beleza então o que que eu vou fazer agora basta selecionar o pdf correspondente do arquivo e clicar aqui ó mover né arquivo Pronto foi movido E aí eu vou clicar em salvar em bebed quando eu faço isso Observe ó o workspace ele está sofrendo um processo de update de atualização que consiste na na em outras palavras no processamento do do documento que consiste em representar o documento em ebbs ou seja em vetores que serão utilizados para treinar a inteligência artificial aí eu vou fechar aqui a janela e aí pessoal Pronto já já tá treinado eu já posso começar a interagir com o documento Observe ó tá selecionado aqui o YouTube certo e eu posso fazer algumas perguntinhas aqui só que tem um detalhe pessoal é interessante a gente configurar a o nosso workspace né para que ele possa ele possa interagir com o usuário de uma forma adequada então eu cliquei aqui ó Nessa engrenagem né para configurar o workspace Observe ó configuração geral então aqui eu tenho o nome do workspace eu tenho aqui uma opção para deletar o workspace o número total de vetores né eh que são reportados pelo banco de dados vetorial E aí é interessante essa opção aqui ó chat settings onde eu vou exatamente eh configurar o chat a interação com o usuário a conversa com o usuário vamos saber que tem esse prompt aqui que ele é normalmente utilizado para configurar o comportamento do chat eu vou apagar esse cara e eu vou usar um prompt que eu havia criado deixa eu selecionar aqui selecionar copiar que é esse prompt aqui ó ó dada a conversa a seguir responda a pergunta atual que o usuário está fazendo retorne apenas sua resposta à pergunta com as informações acima seguindo as instruções do usuário conforme necessário sempre responda em português beleza pessoal beleza aí eu vou clicar aqui em update oace ó oace está sendo atualizado beleza atualizado E aí pessoal eu posso agora de fato começar a interagir com a inteligência artificial então eu vou clicar aqui ó e eu posso começar a fazer perguntas sobre o documento certo então vou perguntar qual foi qual foi o modelo de CNN que apresentou a melhor AC acurácia beleza vamos ver se ele vai responder direitinho e tá aí ó respondeu o modelo que apresentou a melhor acurácia foi mobinet com configuração 22 observem que ele respondeu em inglês né Às vezes isso acontece e vamos fazer o seguinte eh para resolver isso eu vou fazer o seguinte eu [Música] vou eh eu vou apagar esse workspace Às vezes isso acontece vou criar um um um outro vou chamar de YouTube Novamente YouTube certo vou todo o processo né vou mover o arquivo correspondente ao artigo Vou salvar oxp está sendo atualizado Beleza vou configurar vamos lá chat normalmente eu vou apagar esse prompt e vou colar o que eu havia pronto vamos ver se agora ele vai responder em português vamos lá Vamos lá eh vou perguntar uma outra coisa né Qual foi a acurácia qual foi a acurácia do modelo de CNN que apresentou o melhor desempenho vamos ver se ele vai responder eu posso eu posso enfatizar aqui responda em português pronto vamos ver se agora ele vai responder beleza respondei em Português ó e tá correto a curaça do modelo de CNN que apresentou o melhor desempenho é 98. 12 por.