Personalizando o Llama 3.1 Grátis com Seus Próprios Dados Fazendo um Fine Tunning

4.74k views5255 WordsCopy TextShare
Inteligência Mil Grau
Aprenda Inteligência Artificial! Seja Membro do canal: https://www.youtube.com/@inteligenciamilgrau...
Video Transcript:
fala pessoal hoje a gente vai falar como é que faz ajuste fino no Lhama 3. 1 da Meta do Mark Zuckerberg de graça sem pagar nada com aqueles modelos gratuitos de Inteligência Artificial às vezes você quer fazer uma tarefa mais específica você é um advogado você é um médico psicólogo não importa a área você consegue fazer esse modelo se aproximar mais da sua área se aproximar mais da sua especialização e a gente vai tentar entender como é que faz isso eu também vou fazer uma comparação com ajuste Fino que eu já fiz na que já tem nesse outro vídeo aqui e a gente vai ver quem manda melhor quem tá fazendo melhor do papel e o que esperar do futuro É isso aí vamos lá então pessoal Sempre agradecendo todo mundo que deixou seu like todo mundo que se inscreveu um agradecimento especial a todos os membros que são os patrocinadores Desse Canal já deixa aquele like já se inscreve Então hoje a gente vai falar de fine tunning que é ajuste fino quer conseguir fazer um ajuste no seu modelo para que ele fique bom PR caramba eu já sei que algumas pessoas vão falar assim qual que é a diferença de ajuste fino para hag ou de fine tunning com as pessoas costumam falar no ajuste fino ou no fine tunning imagina que você tem a sua llm aqui que pode ser por exemplo Lhama e nessa llm você vai fazer alguns ajustes nela por exemplo tem várias técnicas de ajuste fino algumas delas você pode pôr uma camada a mais aqui e treinar essa camada a mais ou seja tua llm fica parada e você treina uma camadinha a mais tem várias técnicas mas no ajuste fino você tá mexendo no modelo você tá me mexendo nessa coisinha aqui na estrutura principal Isso significa que o seu treinamento que essa camadinha aqui ó ela vai interferir na resposta que o teu modelo tem isso significa que pode piorar outras respostas e pode melhorar outras respostas reg por outro lado é um pouquinho diferente você pega um texto você transforma ele no padrão da llm você pega um documento cria um dicionário no padrão da llm que ao invés de palavras vão ser significados ou seja esse documento aqui eu vou quebrar ele em várias as partes pequenininhas aqui ó parte um parte dois parte TRS Parte 4 e no meu dicionário ao invés de ter palavras a gente tem o que a gente chama de dicionário semântico aqui nesse comecinho ele vai comparar com esse texto aqui que você tá escrevendo se esse texto for igual a esse ele vai me dizer assim ó é esse trecho que você quer saber e por aí vai então no hag você não mexe no modelo no hag você usa uma parte do modelo você transforma o texto em uma coisa do modelo e transforma o documento no índice do modelo que você vai fazer uma busca fazer haag é muito bom para perguntas e respostas porque justamente você tá fazendo perguntas e respostas sobre um documento e ele vai encontrar os trechos que você tá procurando por outro lado se você tem um testão gigantesco e se você tem instruções gigantescas se você tem uma área inteira do direito por exemplo que você tem muito texto você tem muita informação esse teu hag aqui pode ficar ou ineficiente ou ele pode ter um custo muito alto de tokens ele pode ter uma série de razões que vão te jogar para cá porque uma vez que você pega o texto e coloca ele ele para dentro da tua llm ele começa a fazer parte da llm e os tokens de entrada e saída ficam só realmente o texto que você envia e o texto da resposta é bem difícil você tomar uma decisão do que que é melhor do que que realmente funciona porque tem um certo momento que hag e f n tuning se misturam E é difícil saber essa área cinza quem que fica para lá quem que fica para cá o que eu sempre sugiro é começa sempre com hag e engenharia de prompt ou seja Tenta colocar toda a tua informação no prompt se tá ficando caro se tá ficando com respostas imprecisas se a qualidade tá ruim você considere fazer um ajuste fino e se você que tá assistindo tem alguma outra razão para fazer ajuste fino deixa aqui já nos comentários porque é sempre bom ouvir alguém que fez ajuste fino e que Encontrou algum caso de uso que pode servir de exemplo paraas outras pessoas dito isso voltamos aqui esse um slot aqui ele faz f tunning de Lhama 3. 1 e todo quanto é tipo de outros modelos né Não só o lama 3.
1 e já falamos que o nosso modelo pode ter 8 bilhões de parâmetros pode ter 70 bilhões de parâmetros pode ter 405 bilhões de parâmetros e que quanto maior tamanho cara aqui mais memória ele vai consumir os modelos pequenos residenciais que rodam em casa são os modelos de 8b e vocês já começam até Rep perceber aqui ó ele tá falando aqui ó para fazer um fine tuning de modelo 8b ele vai usar uma placa de vídeo L4 de 24 GB e aqui ele tá falando que pro modelo 70b ele vai usar um a 100 de 80 GB tá entendendo Gente esse número é importante porque a gente vai usar ele agora descendo aqui ele fala o seguinte olha só a gente fez um collab no notebook para fazer fine tunning de modelo 8b numa T4 ó tá vendo é L4 aqui é uma T4 é mais ou menos esse mesmo tamanho Então quando você clica aqui você vai cair nessa pagin minha aqui ó que tem o código basicamente explicando como que faz o fine tunning do começo ao fim eu já rodei e é partir desse código que a gente vai fazer no meu código alterado Eu Fiz alguns passos a mais eu já vou trabalhar em cima dele então já estamos aqui no meu código a primeira coisa ó tá vendo aqui ó eu vou tentar conectar aqui na minha T4 tá vendo aqu ele lembra que ele falou da T4 eu vou tentar conectar aqui ó eu já fiz esse teste ontem e ele fala assim ó não consigo conectar pra GPU backend Você já usou teu limite do collab e ele fala assim conecte sem a GPU não vai dar certo gente sem GPU não vai dar certo vai levar uma vida se você já tiver gasto todos os seus créditos eu sugiro que você troque de e-mail E tente fazer is sair de uma forma diferente quando der certo ele vai colocar esse T4 aqui bem certinho tá conectado tá ticado tá certinho tá mostrando a Ram aqui como é que tá acontecendo ó zero eu tenho 12 GB de Ram eu tenho uma GPU com 15 GB de Ram e o meu disco tem 78 GB que a gente consegue avaliar aqui ó dos 78 Gb tem 30 gigab que já estão utilizados acompanhe esses valores aqui gente porque a gente vai precisar deles então ó primeiras coisas instalação só dar o play aqui só aceita detalhe todas essas etapas que a gente tá fazendo aqui ó quando eu aperto o play para rodar essa celulinha esse pedaço de código ele vai começar se mexer aqui com esse botãozinho e vai ficar rodando todo esse código ele é meio demorado Então se preparem para esperar porque você vai esperar bastante esse processo demora o processo de Treinamento demora o processo de geração do código final também demora e o processo de gravação também demora aqui ele já marca para mim demorou 49 segundos para instalar isso aqui ele instalou o on slot e instalou algumas dependências para fazer aceleração aqui não se preocupa com isso é só uma instalação aqui agora a conversa já começa a ficar meio interessante porque aqui eu só tô passando o nome do modelo com um detalhe que você tá vendo que ele tá me dizendo que tá vindo do uns slot e não da Meta significa o que quando eu baixo esse modelo diretamente da meta a meta não libera para mim esse modelo tão simples você precisa pedir autorização para usar modelo você faz todo um procedimento até que você consiga fazer o download se a gente for pelo ons slot Eles já fizeram Esse procedimento e tá liberado pra nós aqui pra gente mexer tem uma série de parâmetros aqui nós não vamos mexer nele aqui mantém tudo do jeito como tá só aceita dá aquele Play e seja feliz para esse treinamento eu vou passar uma base de dados que eu vou disponibilizar para vocês ó eu subi ela aqui do lado você clica nesse diretorzinho vai aparecer os arquivos você pode perceber que conforme a gente vai rodando vai começar a aparecer arquivo aqui vai começar a subir arquivo mais e mais aqui como que tá separado esse arquivo ele tá separado da seguinte forma instrução dizendo que ele é um especialista do canal inteligência 1 grau a entrada quando foi o último vídeo do canal de 2023 e a saída o último vídeo do canal de 2023 foi lançado em dezembro e a mesma coisa são várias perguntas e respostas Quais são os principais tópicos o curso de Inteligência Artificial n tem várias perguntas sobre o canal inteligência 1 grau ele tá nesse formato Jon aqui que que agrupa todo mundo nesse formatinho aqui ó Chaves vírgula Chaves vírgula Chaves vírgula e todas as perguntas e respostas vão ter uma instrução entrada e saída da onde que eu tirei isso eu eu tirei isso do próprio modelo aqui do exemplo deles que ele fala que ele usou esse Yama aqui ó então quando eu entro no Yama eu caio nessa base de dados que tem as instruções a entrada e a saída basicamente aqui na entrada dele ele não passa nada as instruções aqui no fim é o que são as entradas Mas não tem problema e aqui ele mostra aqui ó no texto original dele tá bem certinho aqui ó instruções entrada saída só que tem a diferença que tá tudo em inglês tá certo gente vamos continuando aqui agora o que ele vai fazer ele vai iniciar um modelo esse modelo aqui é o que vai fazer o treinamento esse modelo também tem uma sé de configurações Não se preocupa com ela só aceita Só D Run aqui e vamos embora e aqui ó essa parte foi a parte que eu alterei no data prep dele aqui ele passava aqui no load dataset ele passava aqui o Yama alpaca cleaned e no meu vai mudar essa linha aqui ó no meu datas ó vai ser um Jon que vem do Bob IMG datas json que é esse arquivo aqui ó Bob IMG d. js ele tá lendo aqui localmente E esse aqui tá fazendo download na internet Eu tinha um outro exemplo aqui aqui também que usava esse Vic Gale o alpaca GP T4 que essa é uma base de dados treinada para chat para bate-papo a minha base de dados é pergunta e resposta que é diferente de bate-papo então se você quiser fazer um chat para bate-papo você vai colocar os seus dados de bate-papo aqui e o procedimento vai ser um pouquinho diferente vamos rodar aqui os dados personalizados fechou Essa parte é rápida aqui é só para dar um print nas colunas para ver se tá tudo certinho tá tudo certinho e aqui ó se você quiser fazer pra chat é essa parte que você começa a dar play aqui vai dando Play vai dando Play eu não vou fazer chat aqui vai aqui não precisa que tanto faz vai dando Play aqui também ó no chat template até o chat template quando chegar no chat template agora essa parte é igual Vale PR os dois a gente vai fazer um treino do modelo vai ter no máximo 60 épocas E essas 60 épocas que a gente vai acompanhá-las acontecendo Vamos dar um play aqui inicializando o nosso treinador e agora nosso treinador pronto vamos fazer definitivamente o treinamento uma coisa que eles colocam aqui é para fazer para acompanhar a memória mas se você já tiver acompanhando ali tá tudo bem observando aqui que nossos 44 GB estão aqui disponíveis e agora nós vamos fazer o nosso treinamento eu vou ativar aqui ó pra gente monitorar a nossa memória para ver o que que tá acontecendo com ela aqui a gente começa a acompanhar o que que tá acontecendo com a memória ao longo do tempo agora que eu tô treinando e agora que ele vai começar a usar GPU a gente espera que a GPU aqui comece a aumentar e aqui ó os steps né os passos ele vai completar 60 passos que vão dar aproximadamente 20 épocas Essa parte a gente só acompanha tá vendo aqui que ele tá dando tr em loss o loss é o erro do nosso aprendizado começou em 2. 54 e a ideia é que ele comece a cair cada vez mais eventualmente ele pode subir porque é igual um jogador de basquete jogando pra sexta se ele jogou forte demais ele joga mais fraco se ele jogou muito fraco Ele joga mais forte e ele fica tentando compensar mas a ideia é que esse número aqui vai caindo para zero e cada vez mais próximo de zero é bem normal que durante o aprendizado às vezes ele tava caindo e começa a subir Ele tava subindo começa a descer não se apavorem caso isso comece a acontecer no treinamento de vocês É isso aí gente Estamos chegando aqui ó 58 59 e 60 chegou testou levou 4 minutos para fazer esse treinamento eu vou confessar para vocês gente já fiz muito treinamento aqui esse foi um dos que foi melhor foi um dos que melhor convergiu acho que eu nunca tinha baixado ele sempre ficava no um voltava ficava indo e voltando aqui ele foi muito bem então continuando treinamento feito tudo certinho agora a gente vai fazer o nosso teste de inferência inferência significa testar o modelo vamos ver ó aqui a pergunta é Qual o nome do apresentador do canal inteligência 1000 grau eu vou dar um Run aqui o nome do apresentador do canal inteligência 1000 grau é Bob fechou gente um detalhe importante esses modelos mais simples e esse treinamento ele tá sempre continuando aqui as minhas instruções Ele sempre tá continuando falar mais informações do que eu passei para ele eu ainda não encontrei uma solução Por que que ele não tá pegando o End of file aqui para vocês entenderem toda vez que a gente faz uma predição tem um End of string que tá vendo Eos End of string final da string que é um caracter específico que você informa aqui ó End of text tá vendo ó que é um caracter específico que ele informa que ele acabou o texto e aí ele para de prever e ele para de completar quando ele não detecta ele responde ele dá resposta que continua que não era para ele ter continuado eu não consegui resolver isso ainda mas não tem problema pelo menos ele tá respondendo assim ó o nome do apresentador do canal inteligência mil grau é Bob que era o que a gente queria e a gente sabe que essa instrução que ele tá passando aqui ó Quais são os principais tópicos abordado do canal inteligência 1 grau ele tá falando dos assuntos que estão nesse arquivo aqui então vamos dizer assim que a gente sabe que funcionou mas a gente sabe que ainda não tá bom entendeu junta na cabeça aí e vocês na casa de vocês se vocês descobrirem como fazer para resolver isso já deixa no comentário porque daí já ajuda todo mundo geral e todo mundo vai conseguir se contribuir com isso agora que tá testado agora que tá certo a gente precisa fazer o seguinte a gente precisa salvar esses modelos para nosso computador essa parte é um pouquinho chatinha um pouquinho complexa o que a gente quer aqui a gente não quer o lora a gente quer o ggu a gente vai jogar esse cara aqui no LM Studio para gerar esse GG uf Não é esse começo aqui o GG uf a gente roda aqui ó vai pular o olama pula tudo pula vai lá para baixo aqui ó aqui ó a gente quer salvar esse modelo aqui ó o de oito o q8 e a gente vai dar um um Run aqui eu já vou mostrar para vocês gente esse cara aqui vai demorar essa conversão aqui vai demorar ó o tanto de texto que ele vai fazer Vai demorar um tempão então que que a gente quer aqui tem várias opções modelo 8 modelo 16 modelo q4 Ah tá quantização quantização é um negócio importante vou dar um Run aqui enquanto ele treina aqui eu vou explicando quantização é um negócio importante é uma coisa todo mundo já sabe intuitivamente mas a gente precisa falar sabe o pi 3,14 o 3,14 segue a ideia da quantização o pi tem 3.
41 e vai e vai e vai e vai e vai e vai e vai e vai e vai e vai e vai e vai e vai vai vai imagina imagina que essa quantidade de dinheiro que você tem no banco daí chega alguém e fala assim tá se eu cortar esse dois aqui ó alguém vai perceber você tem R 3 14 e vai de centavos daí a pessoal fala assim acho que ninguém vai nem perceber né se eu cortar isso aqui é tão pouco Daí Alguém falou assim ah se eu cortar isso aqui Alguém vai perceber não ninguém vai perceber e se eu cortar isso aqui ninguém vai perceber e se eu cortar isso aqui ninguém vai perceber por quê Porque ninguém vai nem perceber que tem 14 centavos imagina se a gente vai descobrir vai se importar com as casas lá de baixo daí Alguém falou assim não não corta tudo arranca tudo arranca fora arranca arranca corta corta daí quando começou a chegar aqui ele começ falar assim não não não pera aí agora Já começamos Já começamos a tocar num ponto mais forte Agora imagina que isso aqui são quatro grupos esse aqui é o quatro esse aqui é o 8 esse aqui é o 16 esse aqui é o grupo 32 tô falando desse desse pequeno grupinho aqui ó desse pequeno grupinho quando eu tô usando lá o 32 eu tô usando essa precisão desse número mas daí o cara fala assim não mas eu quero precisão 16 Eu arranquei esse número dos Meus pesos daí eu chega e fala assim não mas tá ainda tá grande tá pesado por quê Porque a matemática fica mais fácil fica mais rápida fica mais acelerado mas as minhas respostas ainda tão boas dá para tirar esse 16 daí chega o cara fala assim não então quto 16 eu vou com oito no oito gente já vou falar as respostas começam a ficar meio errada porque a aproximação começa a ficar um pouco errada e aí chega alguém e fala assim não não não não tira esse oito então quando a gente tira esse oito fica só no na quantização quatro as respostas são meio arredondadas pro computador para você entender o efeito que dá no computador é como se a gente agora tivesse lá na nossa conta no banco e tivesse tirado centavos aí a gente já começa a perceber diferença porque um centavinho daqui um centavinho dali um centavinho de lá a gente já começa a perceber e se a gente tivesse falando em r000 R 2. 000 tirar R 3 também já começa a perceber tirar R reizinhos daqui tirar R reizinhos dali a gente já começa a perceber que tá faltando alguma coisa em algum algum momento então quando a gente fala aqui em fazerem quantização e a gente baixa demais essa quantização a gente já sabe que vai dar alguma coisa de errado a gente já sabe que vai dar que vai dar uma qualidade mas de qualquer forma aqui ó já tá girando meu modelo aqui já tá girando as coisas ele ainda não terminou de gravar mas ele já fez o que eu queria ele já chegou aqui ó ele já tá no writer Model e tá escrevendo esse arquivo GG uf se eu vier aqui na tela agora vai começar a aparecer esse GG uf aqui ó é esse nome que a gente quer primeira coisa que eu preciso dizer quando a gente clica aqui nesses nomes aqui ó nos nomes do arquivo e a gente quiser fazer download a gente consegue fazer download só que esse arquivo é um arquivo de 8 GB ele tá com 5. 65 GB agora ele não terminou de salvar inteiro Isso significa que quando ele tiver finalizado ele vai ter esse tamanho aqui ó de 8.
5 GB a hora que eu tentar salvar esse cara aqui a hora que eu fizer o download vai aparecer um tracinho esquisito aqui de carregando download ou seja ele vai demorar um tempão para fazer esse download então quando eu começar a fazer esse download ele não vai baixar eu já consegui baixar mas demorou um tempão porque ele fica uma barrinha carregando ali se eu começar a download aqui ó ó tá vendo essa Barrinha aqui ó tá vendo um xizinho que vai aparecer ele começa a querer carregar aqui e fazer o download aqui mas isso demora demais Qual que é a solução que eu tenho para conseguir fazer esse negócio de graça Você vai clicar aqui nesse Icone Zinho aqui de m drive e vai aparecer esse cara aqui eu já coloquei no final do código aqui para você nem precisar fazer isso dá um Run aqui ele vai conectar com seu drive ele vai pedir permissão e no que ele pedir permissão Em algum momento vai aparecer aqui o drive para você colocar montado deu certo enquanto ele não atualiza o que que a gente precisa fazer que que a gente precisa fazer vem aqui pro LM Studio faz o download nele porque a gente vai rodar aqui no LM Studio vai fazer o download seja no Mac no Windows ou no Linux já faz o download e já instala aqui no no PC de vocês perfeito gente tá vendo que agora apareceu aqui o drive o que que eu vou fazer aqui o que que você tem que fazer pega esse uns slot aqui e você vai simplesmente arrastar pro teu drive para uma pasta que você queira arrastar no meu caso o que acontece eu foi isso ó ele vai aparecer aqui no seu drive e aqui no seu drive você faz o download normal como se fosse um download normal de um arquivo gigante de 7. 98 GB combinado se você quiser que esse arquivo seja um pouquinho menor você coloca aqui no q4 coloca falso aqui e coloca true aqui ele vai gerar um arquiv inho de 4. 7 G fechou resolvido modelo baixado LM Studio baixado viemos aqui então pro nosso LM Studio parte importante agora a gente precisa arrumar nossas pastas as nossas pastas por exemplo no meu caso aqui ó tá fine tunning eu criei uma pasta lora e dentro da minha pasta lora eu criei duas pastas cada uma delas com um modelo lá dentro esse mod file não precisa bota só o ggf ou seja é uma pasta dos modelos e dentro da pasta do modelo você põe o teu ggf se você colocar uma pasta só não vai dar certo como que eu posso fazer isso nos meus modelos aqui ó vai ter um diretório padrão aqui que você pode você pode salvar direto nesse diretório ou você pode alterar o diretório Como foi o meu caso eu mudei pritor F tunning se você configurou tudo certinho Você não tem que fazer nada vai simplesmente aparecer os modelos aqui ó modelo IMG e modelo q4 foram dois modelos que eu fiz ó um tá com 4.
9 o outro tá com 8. 54 Tá feito tá entendido se você fez tudo certo vem agora aqui no ai chat e escolhe o modelo que vai aparecer os modelos aqui ó se a gente fizesse um testezinho aqui ó com modelinho menor com modelinho q4 Qual é a formação do apresentador do canal inteligência 1000 grau perfeito gente olha só tem formação em psicologia sou eu trabalho com pesquisa e desenvolvimento de produtos para empresas tecnologia e também tem mestrado em sistema de informação essas informações são ligeiramente imprecisas poderia ser melhor ele continua aqui respondendo aqui uma pergunta que eu não perguntei mas ele se mesmo perguntou e ele mesmo respondeu E tem alguns detalhezinhos aqui que sobrou o que me parece assim que esses modelos muito pequenos eles apresentam vários erros eu já fiz outros chats aqui outros chats que eles falaram assim ó simplesmente perguntas começou a responder em inglês eu já fiz outros chats que a conversa fica uma conversa um papo meio de maluco e às vezes ele fala que é um programa de TV e coisas assim mas uma coisa interessante é que se eu colocar um modelo por exemplo um lama aqui ó um instruct take ele não vai saber o quem que é ent 1 grau Ele simplesmente ignora completamente ele não dá nenhuma resposta meio meio acertada assim ó né mas no final das contas Tá tudo meio que funcionando Ah Bob Mas e se eu quiser usar isso aqui com programação Como que eu faço local server local server já escolho aqui o modelinho aqui que a gente quer o modelo q4 já escolhi o q4 aqui start server Já subiu o server ele subiu o servidor já dá alguns exemplos ó de códigos em Python um assistente a em Python ele já faz um Visão em Python em beds em Python Mas enfim ele dá um monte de códigos dá uma sequência de códigos eu vou pegar um desses códigos aqui vou jogar lá no vs code já estamos aqui no nosso vs code ó simplesmente peguei esse código aqui e joguei para cá e aqui ó qual a formação do Bob inteligência 1000 grau Vamos mandar essa pergunta aqui ó ele já vai mudando local host 1 2 3 4 que foi a porta que tá configurada aqui ó 1 2 3 4 na v1 do LM Studio na Lib da openi da própria Open ele vai mandar uma pergunta vai dar e vai imprimir a resposta vamos ver o que que ele faz aqui ó Run code ele ele vai começar a responder ali ó o Bob é um especialista no canal inteligência me grau do YouTube tá vendo ó conformação em psicologia tá vendo ali ó ipds graduação sistemas de informação e por aí vai aí vai aparecer vai atualizar aqui agora depois que ele termina a resposta ali ele tá respondendo para cá e até que chegou aqui a resposta a completion boob especialista do canal inteligência 1 grau do YouTube com formação em psicologia para graduação e sistema de informação fechou gente tá entendido conseguimos rodar o nosso modelinho Lhama treinado fine tonado tudo perfeito tudo maravilhoso de graça não paguei nada por nada não paguei pelo LM Studio não paguei pelo vs code não paguei pelo Python não paguei pelo Lhama não paguei pelo collab não pagamos nada com a diferença é o seguinte aqui ó Em algum momento gente essa minha cota de T4 aqui vai em algum momento ela vai acabar e ela se eu não me engano ela renova no dia seguinte então se acabar se você tentar usar de novo e não tiver e guarda aqui no dia seguinte tem ou tenta usar com outro e-mail e aí a pergunta que fica vamos usar o penei vamos usar o lama vamos fazer fazer o treinamento gratuito vamos fazer o pago que que a gente vai fazer afinal bom eu já fiz um vídeo aqui falando como que faz o fine tunning usando Open ai a Open ai claramente percebeu que a meta tava se aproximando e eles fizeram essa postagem aqui ó customize o GPT 4 for o Mini para suas aplicações com fun tuning disponível a partir de hoje nos Tier 4 E5 ou seja o pessoal que gasta mais com openi né esses Tier 45 São asos níveis mais altos de quem consome mais api e a gente planeja expandir gradualmente para todos os tires tires é o teu tipo de consumo os primeiros 2 milhões de tokens São gratuitos por treinamento por dia a partir de 23 de Setembro em diante então ainda falta falta um tempinho né Nós estamos no finalzinho de Julho tem até mais alguns dias mas basicamente você consegue fazer ó e aqui eu fiz aquele treino aqui é um treino super fácil você faz o fine tunning não tem que perder muito tempo explicando configurando dando Play fazendo modificações de tela em geral quando a gente faz esse processo mais manual que eu fiz aqui que eu já dei no LM Studio realmente a gente gasta um pouquinho mais de tempo nesse caso aqui você tem que entender um pouquinho mais doos parâmetros aqui é um pouquinho mais simples mas alguma coisa mínima você já vai entender com a diferença agora inclusive que agora tem o GPT foro mini que naquela época quando eu fiz o tutorial não tinha for mini agora tem o resto permanece igual e ou seja se você precisa de modelo local se você tem tempo se você vai conseguir aprender um pouquinho mais sobre F tunning melhor vale a pena por esse caminho do Lhama e pode ter certeza que vão ter formas melhores de fazer F tunning que vão surgir ali com o tempo eu acho que essa aqui tá muito manual tá bastante difícil mas a gente tem que entender que essa forma bastante difícil ela é 100% gratuita mesmo Ou seja no cenário em que você não tem nenhum real mesmo para gastar dá para você fazer um fine tunning o custo que você vai ter é para aprender fazer técnicas de fine tunning usando o modelo e testando o modelo eu acredito que os fine tunning em modelos maiores por exemplo como o GPT 3.
Related Videos
Como Consultar Arquivos, Documentos e PDFs com I.A. Usando RAG
13:21
Como Consultar Arquivos, Documentos e PDFs...
Inteligência Mil Grau
3,452 views
Novo LLama 3.1 da Meta de Mark Zuckerberg Promete Ser O Maior Sucesso Das IAs e É Grátis
13:22
Novo LLama 3.1 da Meta de Mark Zuckerberg ...
Inteligência Mil Grau
9,240 views
Como usar a API da IA llama3 em seus projetos?
13:15
Como usar a API da IA llama3 em seus proje...
Thi Code
6,929 views
Como Fazer Fine Tunning Do GPT Pela OpenAI
12:48
Como Fazer Fine Tunning Do GPT Pela OpenAI
Inteligência Mil Grau
2,498 views
🔔 COMO PERSONALIZAR tu LLAMA 3.1 con tus ARCHIVOS SIN PROGRAMAR | Tutorial RAG AnythingLLM Español 😍
16:32
🔔 COMO PERSONALIZAR tu LLAMA 3.1 con tus ...
Patricio Fernandez
2,807 views
Novidades da Meta do Zuckerberg Surpreendem Com Modelo De Visão Extraordinário | Agora vai!
9:42
Novidades da Meta do Zuckerberg Surpreende...
Inteligência Mil Grau
1,260 views
Fine-Tuning Llama 3 on a Custom Dataset: Training LLM for a RAG Q&A Use Case on a Single GPU
33:24
Fine-Tuning Llama 3 on a Custom Dataset: T...
Venelin Valkov
13,005 views
Fazendo um Sistema de Agentes com I.A do Zero Sem CrewAI
11:12
Fazendo um Sistema de Agentes com I.A do Z...
Inteligência Mil Grau
2,445 views
COMO USAR O LLAMA 3.1 DA META! A MELHOR IA PARA GERAR TEXTOS!
8:53
COMO USAR O LLAMA 3.1 DA META! A MELHOR IA...
Preguiça Artificial
14,605 views
Como usar o GPT com seus próprios dados?
27:42
Como usar o GPT com seus próprios dados?
Asimov Academy
71,656 views
Fine Tuning, RAG e Prompt Engineering: Qual é melhor? e Quando Usar?
24:31
Fine Tuning, RAG e Prompt Engineering: Qua...
tech mumus
3,626 views
Introducing Lindy 2.0 - The FIRST True AI-First Automation Platform
27:17
Introducing Lindy 2.0 - The FIRST True AI-...
MattVidPro AI
37,065 views
LLAMA 3 da Meta com Interface Gráfica no Seu Computador - Open WebUI
11:08
LLAMA 3 da Meta com Interface Gráfica no S...
Inteligência Mil Grau
6,030 views
Como Fazer Rag com CrewAI Usando LangFlow | Incrivelmente Simples #langflow #iadevs
17:53
Como Fazer Rag com CrewAI Usando LangFlow ...
Inteligência Mil Grau
1,407 views
Como Fazer a IA Trabalhar Pra Você com CrewAI
13:56
Como Fazer a IA Trabalhar Pra Você com CrewAI
Inteligência Mil Grau
3,374 views
Conheça o Anything LLM a ferramenta que te permite treinar sua IA em ambiente local
23:57
Conheça o Anything LLM a ferramenta que te...
dcode
8,720 views
Engenharia de Prompt: O Guia Definitivo
1:26:57
Engenharia de Prompt: O Guia Definitivo
Bruno Picinini
149,363 views
BATALHA de INTELIGÊNCIA ARTIFICIAL! - Gemini | ChatGPT-4o
25:58
BATALHA de INTELIGÊNCIA ARTIFICIAL! - Gemi...
CORTES - Leon e Nilce [Oficial]
480,845 views
Melhores ferramentas para criar Agentes de IA (sem programar)
23:31
Melhores ferramentas para criar Agentes de...
NoCode StartUp
19,713 views
Melhores Agentes Inteligentes Com Interface Gráfica Grátis com GPT-4o mini mandando ver
9:19
Melhores Agentes Inteligentes Com Interfac...
Inteligência Mil Grau
1,983 views
Copyright © 2024. Made with ♥ in London by YTScribe.com