Por dentro de um modelo de linguagem

O capítulo anterior mostrou o treino com dois pesos e uma reta. Um modelo de linguagem tem bilhões de pesos, mas a pergunta que vale fazer a ele é a mesma que valeria para a reta: o que entra, o que sai e o que ele ajustou para chegar lá?

Este capítulo não pede matemática. Pede que você acompanhe uma frase do momento em que é digitada até a resposta aparecer — e pare em cada etapa para perguntar o que pode dar errado ali.

O que o modelo recebe quando eu escrevo?

Não é a sua frase. O texto é cortado em pedaços chamados tokens — às vezes uma palavra inteira, às vezes um pedaço dela — e cada pedaço é trocado por um número.

Vale parar aqui. Se o modelo conta tokens e não palavras, o que isso diz sobre os limites de tamanho de uma conversa? E sobre a conta no fim do mês, quando a cobrança é por uso?

Como um número carrega significado?

Sozinho, não carrega. O número de cada token é só um endereço. O que carrega alguma coisa é o passo seguinte: cada token é trocado por uma lista longa de números — um vetor, como os do capítulo 2. Esses vetores têm nome: embeddings.

Ninguém escreveu esses números. Eles foram ajustados durante o treino, até que tokens usados em contextos parecidos ficassem próximos uns dos outros. “Escola” acaba perto de “colégio” e longe de “parafuso” sem que ninguém tenha ensinado o que é uma escola.

Uma pergunta para levar: se a proximidade vem dos textos do treino, o que acontece com as associações injustas que estão nesses textos? (O capítulo 4 é sobre isso.)

Como ele sabe a quem “ela” se refere?

Leia: “A estudante disse à diretora que ela precisava trabalhar.” Quem precisava trabalhar?

Você resolveu pesando as outras palavras da frase e o que sabe do mundo. O modelo faz algo parecido, só com a primeira parte: para cada token, calcula quanto cada um dos outros importa naquele ponto. Esse mecanismo chama-se atenção, e a arquitetura construída em torno dele, apresentada em um artigo que virou referência, é o Transformer. Para ver a engrenagem girando, com calma, recomendo duas visitas: a série de vídeos do 3Blue1Brown e o Transformer Explainer, que mostra cada etapa em uma frase de verdade.

Duas consequências práticas saem daí. A primeira: tudo o que está na conversa pode influenciar tudo — inclusive aquilo que você colou sem querer. A segunda: quanto mais texto, mais essa atenção se divide. É a origem do problema que o capítulo 8 vai tratar.

Então ele responde?

Não exatamente. Depois de tudo isso, o que o modelo produz é uma lista: para cada token possível, a chance de ele ser o próximo. Um deles é sorteado, entra na frase, e o processo recomeça — um token por vez, até o fim.

O controle que você mexeu chama-se temperatura. Baixa, o sorteio quase sempre cai na opção mais provável; alta, as improváveis ganham vez. Não existe um valor “certo”: existe a pergunta esta tarefa pede variedade ou repetição?

Agora volte à cena da Lia. O assistente não consultou nada sobre aquela estudante. Ele continuou o texto com o que costuma vir depois de perguntas parecidas. Na maior parte das vezes, o que costuma vir e o que é verdade coincidem. Quando não coincidem, o nome que se dá é alucinação — mas repare que a máquina fez exatamente a mesma coisa nos dois casos.

Se é só a próxima palavra, por que parece que entende?

Essa é a pergunta que divide gente muito mais qualificada do que eu, e eu não vou resolvê-la aqui. Posso oferecer três ângulos para você pensar:

• Para prever bem a próxima palavra de um texto sobre física, ajuda muito ter capturado alguma coisa de física. O quanto, ninguém sabe medir direito.
• Fluência não é evidência. Nós, humanos, confundimos falar bem com saber desde sempre.
• A pergunta “ele entende?” talvez seja menos útil, para quem usa, do que “como eu confiro?”.

O que eu faço com isso?

Não com respostas, mas com quatro perguntas que passam a acompanhar qualquer uso:

1. Isso estava no que eu forneci, ou ele está completando? Se a resposta depende de um fato da sua organização e você não deu esse fato, ela foi inventada com boa redação.
2. De quando é o que ele sabe? O treino terminou em alguma data. O que veio depois, e o que nunca esteve em texto público, não está lá.
3. Preciso do mesmo resultado toda vez? Se sim, o sorteio é um problema — e a saída está no capítulo 10.
4. Cabe? Tudo é contado em tokens: o que você escreve, o que anexa, o que ele responde.

É o que eu repito em todo treinamento: antes de qualquer técnica sofisticada, o básico. Entender como o modelo funciona, saber escolher e saber o que colocar na entrada resolve a maior parte dos problemas.