Te venderam fine-tuning. Você provavelmente precisava de um prompt melhor.

Chegou uma proposta na sua mesa. Tem fine-tuning, tem RAG, tem embedding, tem vector store. O valor no rodapé tem cinco dígitos. E você não consegue julgar se está caro ou barato, porque não consegue julgar o que está comprando.

Este texto resolve a primeira parte. A segunda você decide sozinho no fim.

Fine-tuning, sem enrolação

Um modelo de linguagem já chega treinado até você. Fine-tuning é pegar esse modelo pronto e continuar treinando ele com material seu, até ele passar a responder do jeito que você quer.

A palavra que importa nessa frase é material. E aqui vem a primeira confusão que a gente vê em reunião: não são os seus documentos. São pares de pergunta e resposta que alguém escreveu à mão, revisou e formatou, um por um.

Olha o último quadro do diagrama. O modelo aprendeu um jeito de responder e, no mesmo movimento, congelou o conteúdo que estava nos exemplos. No dia seguinte ao treino ele já está defasado em relação a qualquer coisa que mudou na empresa.

RAG, sem enrolação

RAG é sigla para geração aumentada por recuperação. O nome é ruim e a ideia é simples: antes de responder, o sistema procura nos seus documentos, separa os trechos que interessam, e só então pede para o modelo escrever a resposta usando aquilo.

A diferença que importa está na ordem das coisas. O modelo nunca é a fonte. Ele lê o que foi encontrado e redige. Seus arquivos continuam do lado de fora, do jeito que estão hoje, e podem ser trocados a qualquer momento.

A parte que quase ninguém conta

Seria cômodo escrever aqui que fine-tuning é conversa para justificar orçamento, e seguir a vida vendendo a opinião da casa. O problema é que o melhor estudo disponível sobre o assunto diz o contrário.

+6 p.p.

foi quanto o fine-tuning aumentou a acurácia das respostas em um estudo da Microsoft Research. O RAG somou mais 5 pontos percentuais em cima disso, e os dois efeitos são cumulativos.

Ou seja: fine-tuning funciona, RAG funciona, e eles não são rivais. Somam.

Então por que quase nunca é o seu caso

Três motivos práticos, e nenhum deles tem a ver com o modelo ser bom ou ruim.

Você precisa ter os exemplos, e provavelmente não tem

A documentação da própria OpenAI recomenda começar com cerca de cinquenta exemplos bem feitos para ver melhora.

50

exemplos de pergunta e resposta é o ponto de partida recomendado pela OpenAI para um fine-tuning mostrar melhora. Escritos e revisados um a um, não exportados de um sistema.

Cinquenta parece pouco até você tentar produzir. Não é exportar planilha. É alguém sentar, escrever a pergunta como o cliente escreveria, escrever a resposta como a empresa deveria responder, e repetir. Com revisão. A maioria das empresas que nos procura não tem esse material, e montar ele custa mais que o treino.

A sua informação muda, e o treino não acompanha

Esse é o argumento que, na nossa experiência, decide a conversa.

Tabela de preço nova, política de troca alterada, procedimento revisado. Em RAG isso é substituir um arquivo. Em fine-tuning é refazer o ciclo inteiro, incluindo a conta.

A resposta não consegue mostrar de onde veio

Modelo treinado responde do jeito que aprendeu, e não tem como apontar a linha do documento que sustenta aquilo. Com RAG a resposta vem com a fonte junto, e quem lê consegue conferir.

Isso parece detalhe técnico e é o que decide se as pessoas vão usar o sistema. Depois do primeiro erro sem rastro, ninguém confia de novo.

Antes disso tudo, tem uma coisa mais barata

A recomendação mais interessante da documentação da OpenAI não é sobre volume de dados. É sobre o que fazer quando o fine-tuning não melhora nada: rever a tarefa e o prompt antes de aumentar o dataset.

Vale reler essa frase pensando em quem a escreveu. É a empresa que cobra pelo fine-tuning dizendo para você mexer no prompt primeiro.

As três perguntas que decidem

Na prática a decisão cabe em três perguntas, nesta ordem.

Chegar até a terceira já é raro. E repare no que ela separa: fine-tuning mexe em como o modelo responde, o estilo, o formato, o tom. RAG mexe em o que ele sabe. Quando alguém oferece fine-tuning para resolver um problema de conteúdo, a ferramenta está errada para o serviço.

Onde o projeto morre de verdade

Vale terminar ampliando a lente, porque essa discussão toda ocupa menos espaço do que parece.

95%

das organizações não obtiveram retorno mensurável com iniciativas de IA generativa, segundo levantamento do MIT com 153 líderes, 52 entrevistas e mais de 300 implementações públicas.

E o relatório é explícito sobre o motivo: a barreira central não é qualidade de modelo, nem infraestrutura, nem regulação.

Bate com o que a gente vê em campo. Os projetos não quebram na escolha entre duas técnicas que somam onze pontos percentuais. Quebram antes, em coisa sem glamour nenhum: ninguém definiu qual pergunta o sistema precisa responder, o dado está espalhado em quatro plataformas, e não existe processo para manter nada disso atualizado.

É por isso que, quando chega um pedido de fine-tuning, a primeira conversa aqui nunca é sobre fine-tuning. É sobre como a operação funciona hoje.