Uma breve história da IA

Quando o ChatGPT surgiu no fim de 2022, parecia que a IA tinha aparecido do nada, da noite para o dia. Numa semana, quase ninguém que você conhecia conversava com um computador em linguagem simples; na semana seguinte, todo mundo fazia isso. É uma história tentadora, mas também está errada de um jeito que importa, porque ela esconde de onde esses sistemas realmente vieram.

A caixa de chat era nova. A ciência por trás dela não era. O que você está usando é a ponta visível de mais ou menos setenta anos de trabalho, uma sequência de ideias em que cada uma rompeu o limite em que a anterior tinha travado. Conhecer esse caminho não é curiosidade inútil. Ele mostra quais partes desse campo são duradouras e quais são apenas moda passageira, e essa é a diferença entre correr atrás de toda manchete e entender de fato aquilo sobre o que você está construindo.

Ensinando regras aos computadores

O campo tem uma data de nascimento. Em 1956, um pequeno grupo de pesquisadores se reuniu no Dartmouth College para uma oficina de verão hoje famosa e deu à ideia o seu nome: inteligência artificial. Alguns anos antes, em 1950, Alan Turing, o matemático britânico que ajudou a inventar a própria computação, já havia formulado a pergunta que até hoje persegue o campo: será que uma máquina conseguiria convencer você de que está pensando (uma ideia hoje conhecida como o teste de Turing).

A primeira resposta durou décadas e se apoiava numa ideia que parecia sensata: se você quer que um computador aja de forma inteligente, escreva à mão as regras da inteligência. Especialistas detalhavam seu conhecimento em longas listas de "se isto, então aquilo", e os programas que executavam essas regras eram chamados de sistemas especialistas. Para problemas estreitos e bem definidos, como diagnosticar um tipo específico de doença ou configurar uma máquina sob encomenda, eles funcionavam.

Aí eles bateram numa parede, e essa parede é a lição da época. O mundo real tem regras demais, e a maioria delas ninguém consegue enunciar. Você distingue um gato de um cachorro num instante, mas tente escrever a regra exata que separa os dois e vai passar a semana inteira nisso e ainda deixar casos escapando. O conhecimento codificado à mão não dá conta da complexidade da realidade, e foi para romper esse limite que a próxima ideia surgiu.

JunoEnsinando regras aos computadores Então a IA não é nada nova, o nome vem de 1956, e Turing fez a grande pergunta lá em 1950. A primeira ideia foi a mais natural: se você quer que um computador pareça inteligente, escreva todas as regras à mão. Funcionou para problemas pequenos e bem definidos e se desmontou nos problemas reais, porque tente escrever a regra exata para distinguir um gato de um cachorro. Você não consegue, e essa é a lição toda aqui.

JunoEnsinando regras aos computadores O que fica das primeiras décadas: as pessoas tentaram escrever à mão a inteligência como regras "se-então", os sistemas especialistas. Ótimo para problemas estreitos e bem definidos, inútil para problemas complexos. O motivo importa porque ele volta sempre: a maior parte do conhecimento do mundo real é vasta e imprecisa demais para ser enunciada à mão. Essa parede é o que toda ideia seguinte foi construída para superar.

JunoEnsinando regras aos computadores A IA ganhou esse nome em 1956, em cima de uma pergunta que Turing fez em 1950, então quem acha que isso é novidade não leu muito sobre o assunto. A primeira abordagem foi escrever à mão as regras da inteligência. Ela se sustentou em problemas de brinquedo e desmoronou nos problemas reais, pelo motivo de sempre: você não consegue escrever à mão as partes confusas do mundo. Lembre disso na próxima vez que alguém prometer que já mapeou tudo.

Deixando que eles aprendam

Se você não consegue escrever as regras, a alternativa é deixar a máquina encontrá-las. Em vez de dizer a um computador como distinguir um gato de um cachorro, você mostra a ele milhares de exemplos rotulados e deixa que ele descubra o padrão por conta própria. Isso é aprendizado de máquina, e inverte a tarefa: você deixa de programar a resposta e passa a fornecer os dados, deixando que o programa deduza a regra.

O caminho até ali não foi tranquilo. Duas vezes o campo prometeu muito mais do que conseguiu entregar, o dinheiro secou, e o progresso ficou parado por anos seguidos. Esses períodos são lembrados como os invernos da IA, e são o alerta mais contundente que essa história oferece. A IA já foi supervalorizada antes, mais de uma vez, e cada ciclo parecia tão certo quanto este parece agora. A técnica que no final compensou raramente era a que fazia as promessas mais ruidosas na época.

JunoDeixando que eles aprendam Aqui está a virada inteligente: em vez de escrever as regras, você mostra à máquina um monte de exemplos e deixa que ela descubra o padrão por conta própria. Isso é aprendizado de máquina. Mas o caminho até ali não foi tranquilo, houve esses longos períodos frios chamados invernos da IA, em que todo mundo se empolgou demais, o dinheiro secou, e o progresso travou. Vale lembrar quando tudo isso parecer certo demais: já pareceu certo antes.

JunoDeixando que eles aprendam O aprendizado de máquina inverte a tarefa: em vez de escrever a resposta, você fornece os dados e deixa o programa deduzir a regra. Um jeito útil de pensar sobre isso. Mas a história traz um alerta embutido, os invernos da IA, dois períodos em que o campo prometeu demais e o financiamento colapsou. A IA já foi supervalorizada antes, mais de uma vez, e a promessa mais ruidosa da época raramente era a técnica que de fato compensou.

JunoDeixando que eles aprendam Se você não consegue escrever as regras, deixe a máquina encontrá-las a partir de exemplos. Essa é a virada, e é uma boa. O que eu realmente quero que você guarde é a outra metade: os invernos da IA. Duas vezes o campo prometeu o mundo, o dinheiro evaporou, e tudo congelou por anos. Cada ciclo parecia tão inevitável quanto este parece agora. Foi exatamente por isso que parei de confiar na voz mais alta da sala.

O aprendizado profundo dá o salto

Os primeiros modelos de aprendizado de máquina ainda dependiam de pessoas para escolher à mão quais características dos dados eram relevantes, uma versão menor do próprio problema da codificação manual. O avanço veio de uma ideia antiga que finalmente recebeu o que precisava: redes neurais, vagamente inspiradas em como os neurônios transmitem sinais, capazes de aprender suas próprias características diretamente dos dados brutos.

Essa ideia existia desde os anos 1950 e nunca tinha funcionado bem o suficiente. Duas coisas mudaram por volta de 2012. De repente havia dados em abundância, vindos de uma internet digitalizada, e poder de computação barato, vindo dos chips gráficos criados para videogames, o suficiente para treinar essas redes numa escala que valia a pena. Uma rede neural (AlexNet) venceu um importante concurso de reconhecimento de imagens por uma margem enorme, e o campo se reorganizou em torno dessa abordagem quase imediatamente. Isso é o aprendizado profundo, o motor por trás de tudo que veio depois.

O formato desse avanço se repete tantas vezes que merece um nome: a ideia não era nova, os dados e o poder de computação eram. Boa parte do progresso da IA parece um salto súbito e, na verdade, é uma ideia antiga finalmente encontrando os recursos que estava esperando.

JunoO aprendizado profundo dá o salto As redes neurais são vagamente inspiradas em como os neurônios transmitem sinais, e o interessante é que elas descobrem por conta própria quais partes dos dados são importantes. A ideia existe desde os anos 1950, mas só realmente funcionou por volta de 2012, quando finalmente havia dados e poder de computação barato suficientes para treiná-la de verdade. Uma rede arrasou num concurso de imagens e o campo inteiro virou de uma vez. Ideia antiga, combustível novo, um padrão que você vai ver de novo.

JunoO aprendizado profundo dá o salto O truque do aprendizado profundo: as redes neurais aprendem suas próprias características a partir dos dados brutos, em vez de depender de pessoas para escolhê-las à mão. Isso se encaixou por volta de 2012, quando duas coisas apareceram, uma quantidade de dados equivalente a uma internet digitalizada e poder de computação barato de GPUs criadas para jogos, e uma rede venceu um grande concurso de imagens por uma margem enorme. A lição para guardar: boa parte do progresso "súbito" da IA é uma ideia antiga finalmente encontrando os recursos que esperava.

JunoO aprendizado profundo dá o salto As redes neurais datam dos anos 1950 e ficaram meio século quase funcionando, mas não de verdade. Aí, por volta de 2012, os dados e o poder de computação barato finalmente chegaram, um modelo venceu um concurso de imagens por uma margem vergonhosa, e todo mundo redescobriu a ideia da noite para o dia. Esse é o formato da maioria dos "avanços" que já vi: a ideia era antiga, os recursos eram novos. Isso me impede de me deslumbrar com as demonstrações.

O transformer

O aprendizado profundo era forte em imagens. Linguagem era mais difícil, porque o significado depende de como as palavras se relacionam ao longo de uma frase ou parágrafo inteiro, e as redes anteriores liam o texto uma palavra por vez e perdiam o fio da meada em distâncias maiores.

Em 2017, um artigo de pesquisa apresentou um design chamado transformer, construído em torno de um mecanismo chamado atenção: em vez de ler palavra por palavra, ele avalia como cada palavra se relaciona com todas as outras ao mesmo tempo. Isso parece um detalhe arquitetural pequeno. Foi o que destravou tudo. Um transformer treina de forma eficiente com quantidades enormes de texto, e continuava melhorando quanto mais texto e quanto maior a rede que recebia. Essa última propriedade, o fato de que a escala continuava compensando em vez de estagnar, deu base a tudo que vem desde então.

Todo modelo deste manual, e a caixa de chat por trás de ferramentas como o ChatGPT, é no fundo um transformer. Quando você chegar em Como os LLMs funcionam, o ciclo de previsão que você vai aprender ali é essa arquitetura fazendo o seu único trabalho.

JunoO transformer Linguagem era a parte difícil, porque o significado depende de como as palavras se conectam ao longo de uma frase inteira, e as redes mais antigas liam uma palavra por vez e perdiam o fio da meada. Aí, em 2017, surgiu o transformer, com um truque chamado atenção que observa como cada palavra se relaciona com todas as outras ao mesmo tempo. Isso foi o que destravou tudo. Todo modelo que você vai encontrar, a caixa de chat incluída, é um transformer por dentro. Bem bacana, né?

JunoO transformer O transformer de 2017 é a arquitetura por trás de tudo que você vai tocar aqui. O movimento dele é a atenção: avaliar como cada palavra se relaciona com todas as outras ao mesmo tempo, em vez de ler da esquerda para a direita e esquecer o começo. A parte que realmente importou é que ele continuava melhorando quanto mais texto e poder de computação você dava a ele, em vez de estagnar. Essa propriedade, "a escala continua compensando", deu início a toda a era atual.

JunoO transformer Imagens estavam resolvidas; linguagem não, porque o significado vive em como as palavras se relacionam à distância, e as redes antigas liam uma palavra por vez. O transformer de 2017 resolveu isso com a atenção, avaliando cada palavra em relação a todas as outras ao mesmo tempo. Parece uma nota de rodapé, mas foi o que destravou tudo. A propriedade que mudou o jogo era sem graça no papel: continuava melhorando à medida que se escalava. Tudo que veio depois é essa mesma ideia, escalada até ficar cara.

A era dos LLMs e o momento ChatGPT

Com o transformer em mãos, uma pergunta tomou conta de tudo: o que acontece se você o tornar maior e alimentá-lo com mais dados? A resposta, repetida ao longo de uma sequência de modelos a partir de 2018, foi que ele continuava ficando mais capaz de formas que ninguém tinha programado à mão. Treinados para fazer apenas uma coisa, prever a próxima palavra em boa parte da internet pública, esses modelos acabaram aprendendo gramática, fatos, tradução e um tipo rudimentar de raciocínio como efeitos colaterais dessa única tarefa. Isso são os grandes modelos de linguagem, e o próximo capítulo é sobre como essa previsão realmente funciona.

Então por que pareceu tão súbito no fim de 2022? Porque o que a maioria das pessoas encontrou não foi um modelo novo, foi uma porta nova. A capacidade subjacente vinha sendo construída há anos dentro de laboratórios de pesquisa e ferramentas de desenvolvimento. O ChatGPT embrulhou tudo isso numa caixa de chat simples que qualquer pessoa podia abrir, de graça, sem nenhuma configuração. A tecnologia vinha chegando havia uma década; a interface chegou de uma vez só, e é essa parte que o público viveu como o começo.

JunoA era dos LLMs e o momento ChatGPT Torne o transformer maior, alimente-o com boa parte da internet, e algo surpreendente acontece: só de aprender a prever a próxima palavra, ele acaba aprendendo gramática, fatos, até um tipo rudimentar de raciocínio, tudo por conta própria. Isso são os grandes modelos de linguagem. E o ChatGPT em 2022? Aquilo não foi uma invenção nova, foi uma porta nova, uma caixa de chat simples que finalmente deixou todo mundo entrar. A tecnologia vinha chegando havia uma década; a porta se abriu de uma vez só.

JunoA era dos LLMs e o momento ChatGPT Escale o transformer, treine-o para prever a próxima palavra em toda a internet pública, e gramática, fatos e raciocínio rudimentar surgem como efeitos colaterais. Isso é um LLM. A nova leitura do fim de 2022: o ChatGPT não foi uma tecnologia nova, foi uma interface nova. A capacidade vinha se acumulando em laboratórios havia anos; a caixa de chat simples colocou isso na frente de todo mundo da noite para o dia, e foi essa parte que o público viveu como o começo.

JunoA era dos LLMs e o momento ChatGPT Torne maior, alimente com a internet, e um previsor de próxima palavra silenciosamente se transforma em algo que escreve, traduz e raciocina de certo jeito. Esses são os LLMs. As pessoas pensam que o mundo mudou em novembro de 2022. Não mudou; a interface mudou. A capacidade vinha se acumulando em pesquisas e ferramentas de desenvolvimento havia anos, e o ChatGPT embrulhou tudo numa caixa de chat que qualquer pessoa podia abrir. Porta nova, prédio antigo.

Apoiado em décadas

Coloque o caminho todo lado a lado e o formato fica claro. Regras escritas à mão deram lugar a máquinas que aprendem com dados, que deram lugar a redes que aprendem suas próprias características, que deram lugar ao transformer e à descoberta de que a escala continua compensando. Cada etapa rompeu o limite em que a etapa anterior tinha travado, ao longo de cerca de setenta anos. Os modelos de hoje são a ponta dessa história, não o seu início.

Isso não é uma aula de história pelo simples prazer de contar. É o motivo pelo qual este manual começa com os fundamentos em vez das manchetes. O campo se move em ciclos de euforia e inverno, e o modelo que está no topo neste mês vai ser substituído. O que não é substituído é a compreensão de como esses sistemas funcionam, do mesmo jeito que as ideias de cada época sobreviveram aos produtos construídos em cima delas. Respeite o caminho, aprenda a camada duradoura, e o próximo lançamento se torna algo que você consegue situar, em vez de algo que te derruba.

O próximo capítulo, Usando bem a IA, deixa de olhar para de onde esses sistemas vieram e passa a mostrar como de fato trabalhar com eles: onde a IA merece um lugar no seu dia, onde não merece, e como manter o seu julgamento enquanto o resto do campo perde a cabeça.

JunoApoiado em décadas Coloque tudo lado a lado e o formato é bonito: regras escritas à mão deram lugar ao aprendizado a partir de dados, depois a redes que aprendem suas próprias características, depois ao transformer e à escala, cada uma rompendo o limite em que a anterior tinha travado, ao longo de cerca de setenta anos. Os modelos de hoje são a ponta de tudo isso, não o começo. É por isso que aqui a gente aprende como as coisas funcionam, não as manchetes, porque a compreensão é a parte que permanece.

JunoApoiado em décadas De ponta a ponta: regras, depois aprendizado a partir de dados, depois características aprendidas automaticamente, depois o transformer e a descoberta de que a escala continua compensando, cada etapa superando o muro anterior, ao longo de setenta anos. Os modelos de hoje são a ponta, não a origem. Esse é todo o argumento em favor dos fundamentos em vez das manchetes: o modelo que está no topo neste mês vai ser substituído, a compreensão de como esses sistemas funcionam não é.

JunoApoiado em décadas Setenta anos, quatro grandes passos, cada um rompendo o limite do anterior. Os modelos de hoje são a ponta dessa história, não o seu começo, seja o que for que os posts de lançamento digam. Eu começo pela máquina em vez das manchetes por um motivo: já vi o produto no topo ser substituído repetidas vezes, e a única coisa que nunca foi substituída foi a compreensão de como ele funciona. Aprenda a camada duradoura. Os rankings são problema de outra pessoa.