Uma breve história da IA

docs.scrimba.com

Quando o ChatGPT chegou no final de 2022, pareceu que a IA havia aparecido da noite para o dia. Uma semana quase ninguém que você conhecia estava falando com um computador em linguagem natural; na próxima, todos estavam. É uma história tentadora, e também está errada de uma forma que importa, porque esconde de onde esses sistemas vieram.

A caixa de chat era nova. A ciência por trás dela não era. O que você está usando é a ponta visível de aproximadamente setenta anos de trabalho, um conjunto de ideias onde cada uma quebrou o teto que a anterior atingiu. Conhecer esse caminho não é trivialidade. Ele diz quais partes deste campo são duráveis e quais são moda, qual é a diferença entre seguir cada manchete e entender o que você constrói.

Dizendo aos computadores as regras

O campo tem um aniversário. Em 1956, um pequeno grupo de pesquisadores se reuniu no Dartmouth College para um famoso workshop de verão e deu à ideia seu nome: inteligência artificial. Alguns anos antes, em 1950, Alan Turing, o matemático britânico que ajudou a inventar a própria computação, já havia colocado a questão que ainda paira sobre o campo, se uma máquina poderia nunca convencê-lo de que estava pensando (uma ideia agora conhecida como teste de Turing).

A primeira resposta durou décadas e repousava em uma ideia que soa sensata: se você quer que um computador aja com inteligência, escreva as regras da inteligência à mão. Especialistas explicavam seu conhecimento como longas listas de se-isso-então-aquilo, e os programas que os executavam eram chamados de sistemas especialistas. Para problemas estreitos e bem definidos, como diagnosticar um tipo específico de doença ou configurar uma máquina para fazer um pedido, funcionavam.

Então eles atingiram uma parede, e essa parede é a lição da era. O mundo real tem muitas regras demais, e a maioria delas ninguém consegue enunciar. Você distingue um gato de um cachorro instantaneamente, mas tente escrever a regra exata que os separa e você estará nisso a semana toda e ainda perderá casos. O conhecimento codificado à mão não se escala para a bagunça da realidade, e quebrar esse teto é para o que a próxima ideia foi feita.

JunoDizendo aos computadores as regras Então a IA não é nova, o nome data de 1956, e Turing fez a grande pergunta em 1950. A primeira ideia foi a natural: se você quer que um computador aja de forma inteligente, escreva todas as regras à mão. Funcionava para problemas pequenos e bem definidos e fracassava nos reais, porque tente escrever a regra exata para distinguir um gato de um cachorro. Você não consegue, e essa é toda a lição aqui.

JunoDizendo aos computadores as regras O aprendizado dos primeiros anos: as pessoas tentavam escrever à mão a inteligência como regras se-então, os sistemas especialistas. Ótimo para problemas estreitos e bem definidos, inútil para os confusos. A razão importa porque continua voltando: a maioria do conhecimento do mundo real é muito vasta e muito fuzzy para ser enunciada à mão. Essa parede é o que toda ideia posterior foi construída para ultrapassar.

JunoDizendo aos computadores as regras A IA ganhou seu nome em 1956, em cima de uma pergunta que Turing fez em 1950, então qualquer um a chamando de marca nova não leu muito. A primeira abordagem era escrever as regras da inteligência à mão. Ela se manteve em problemas brinquedo e desabou nos reais, pela razão que sempre acontece: você não consegue escrever à mão as partes confusas do mundo. Lembre-se disso na próxima vez que alguém prometer que tem tudo mapeado.

Deixando-os aprender em vez disso

Se você não consegue escrever as regras, a alternativa é deixar a máquina encontrá-las. Em vez de dizer a um computador como distinguir um gato de um cachorro, você mostra a ele milhares de exemplos rotulados e deixa que ele descubra o padrão por conta própria. Isso é aprendizado de máquina, e inverte o trabalho: você para de programar a resposta e começa a fornecer os dados, depois deixa o programa inferir a regra.

O caminho para lá não foi suave. Duas vezes o campo prometeu muito mais do que podia entregar, o dinheiro secou e o progresso estagnou por anos seguidos. Esses períodos são lembrados como os invernos da IA, e são o aviso mais agudo que a história oferece. A IA foi overhype antes, mais de uma vez, e cada ciclo parecia tão certo quanto este parece. A técnica que deu certo no final raramente era a que fazia as promessas mais altas na época.

JunoDeixando-os aprender em vez disso Aqui está o truque inteligente: em vez de escrever as regras, você mostra à máquina toneladas de exemplos e deixa que ela descubra o padrão por conta própria. Isso é aprendizado de máquina. O caminho para lá não foi suave, houve esses longos períodos frios chamados de invernos da IA onde todos ficaram superexcitados, o dinheiro secou e o progresso estagnou. Vale a pena lembrar quando tudo isso parece muito certo: já pareceu certo antes.

JunoDeixando-os aprender em vez disso O aprendizado de máquina inverte o trabalho: pare de escrever a resposta, forneça os dados, deixe o programa inferir a regra. Um quadro útil para levar. Mas a história tem um aviso embutido, os invernos da IA, dois períodos onde o campo prometeu demais e o financiamento desabou. A IA foi overhype antes, mais de uma vez, e a promessa mais alta na época raramente era a técnica que deu certo.

JunoDeixando-os aprender em vez disso Se você não consegue escrever as regras, deixe a máquina encontrá-las a partir de exemplos. Esse é o pivô, e é um bom. O que eu realmente gostaria que você guardasse é a outra metade: os invernos da IA. Duas vezes o campo prometeu a lua, o dinheiro evaporou e tudo congelou por anos. Cada ciclo pareceu tão inevitável quanto este parece. Parei de confiar na voz mais alta da sala exatamente por essa razão.

O aprendizado profundo rompe a barreira

O aprendizado de máquina inicial ainda dependia das pessoas para selecionar manualmente quais características dos dados importavam, sua própria versão menor do problema de codificação à mão. O rompimento veio de uma ideia antiga finalmente recebendo o que precisava: redes neurais, levemente inspiradas em como as células cerebrais transmitem sinais, que aprendem suas próprias características diretamente dos dados brutos.

Essa ideia existe desde os anos 1950 e nunca funcionou bem o suficiente. Duas coisas mudaram por volta de 2012. De repente havia dados suficientes, de uma internet digitalizada, e poder computacional barato o suficiente, dos chips gráficos construídos para videogames, para treinar essas redes em um tamanho que compensasse. Uma rede neural (AlexNet) venceu um grande concurso de reconhecimento de imagem por uma margem ampla, e o campo se reorganizou em torno da abordagem quase imediatamente. Este é o aprendizado profundo, o motor sob tudo que se seguiu.

A forma desse rompimento se repete frequentemente o suficiente para nomear: a ideia não era nova, os dados e o computador eram. Muito progresso da IA parece um salto repentino e é realmente uma ideia antiga encontrando os recursos pelos quais estava esperando.

JunoO aprendizado profundo rompe a barreira As redes neurais são levemente inspiradas em como as células cerebrais transmitem sinais, e o legal é que elas descobrem por conta própria quais bits dos dados importam. A ideia existe desde os anos 1950, mas realmente funcionou apenas por volta de 2012, uma vez que havia dados suficientes e poder computacional barato para treiná-la adequadamente. Uma rede destruiu um concurso de imagem e todo o campo virou de cabeça para baixo. Ideia antiga, novo combustível, um padrão que você verá novamente.

JunoO aprendizado profundo rompe a barreira O truque do aprendizado profundo: redes neurais aprendem suas próprias características a partir de dados brutos em vez de ter pessoas selecionando-as manualmente. Funcionou por volta de 2012 quando duas coisas apareceram, os dados da internet digitalizada e computação GPU barata dos chips de videogames, e uma rede venceu um grande concurso de imagem por uma margem ampla. A lição para depositar: muito do progresso "repentino" da IA é uma ideia antiga finalmente encontrando os recursos pela qual estava esperando.

JunoO aprendizado profundo rompe a barreira As redes neurais datam dos anos 1950 e ficaram lá não funcionando muito bem por meio século. Então por volta de 2012 os dados e a computação barata finalmente alcançaram, um modelo venceu um concurso de imagem por uma margem constrangedora, e todos redescobriram a ideia da noite para o dia. Essa é a forma da maioria dos "avanços" que vi: a ideia era antiga, os recursos eram novos. Me impede de ficar impressionado pelos demos.

O transformer

O aprendizado profundo era forte em imagens. Linguagem era mais difícil, porque o significado depende de como as palavras se relacionam ao longo de uma frase ou parágrafo inteiro, e redes anteriores liam texto uma palavra por vez e perdiam o fio ao longo de qualquer distância.

Em 2017 um artigo de pesquisa introduziu um design chamado transformer, construído em torno de um mecanismo chamado atenção: em vez de ler palavra por palavra, ele pondera como cada palavra se relaciona com todas as outras palavras de uma vez. Isso soa como um pequeno detalhe arquitetônico. Foi o desbloqueio. Um transformer treina de forma eficiente em enormes quantidades de texto, e continuou melhorando quanto mais texto e quanto maior a rede que lhe foi dada. Essa última propriedade, que a escala continuou compensando em vez de se estabilizar, preparou tudo desde então.

Todo modelo neste manual, e a caixa de chat atrás de ferramentas como ChatGPT, é um transformer no coração. Quando você chegar a Como os LLMs funcionam, o loop de predição que você aprende lá é essa arquitetura fazendo seu único trabalho.

JunoO transformer Linguagem era a difícil, porque o significado depende de como as palavras se conectam ao longo de uma frase inteira, e redes antigas liam uma palavra por vez e perdiam o fio. Então em 2017 o transformer chegou, com um truque chamado atenção que olha como cada palavra se relaciona com todas as outras palavras de uma vez. Esse foi o desbloqueio. Todo modelo que você conhecerá, a caixa de chat incluída, é um transformer por baixo. Bem selvagem, não é?

JunoO transformer O transformer de 2017 é a arquitetura sob tudo que você tocará aqui. Seu movimento é atenção: pondere como cada palavra se relaciona com todas as outras palavras de uma vez, em vez de ler da esquerda para a direita e esquecer. A parte que realmente importou é que continuou melhorando quanto mais texto e computação você jogou nela, em vez de se estabilizar. Essa propriedade de "escala continua compensando" configurou toda a era.

JunoO transformer Imagens foram resolvidas; linguagem não, porque o significado vive em como as palavras se relacionam à distância e as redes antigas liam uma palavra por vez. O transformer de 2017 consertou isso com atenção, pesando cada palavra contra todas as outras de uma vez. Parece uma nota de rodapé, foi o desbloqueio. A propriedade que mudou o jogo era monótona no papel: continuou melhorando conforme você o escalonava. Tudo desde então é essa uma ideia, escalada até ficar caro.

A era do LLM e o momento do ChatGPT

Com o transformer em mãos, uma pergunta assumiu o controle: o que acontece se você o torna maior e alimenta com mais? A resposta, repetida em uma linha de modelos a partir de 2018, foi que continuou crescendo mais capaz de maneiras que ninguém havia programado à mão. Treinados para não fazer nada além de prever a próxima palavra na maioria da internet pública, esses modelos adquiriram gramática, fatos, tradução e um tipo áspero de raciocínio como efeitos colaterais dessa única tarefa. Estes são modelos de linguagem grande, e o próximo capítulo trata de como essa predição realmente funciona.

Então por que pareceu repentino no final de 2022? Porque o que a maioria das pessoas encontrou não era um novo modelo, era uma nova porta. A capacidade subjacente havia sido construída há anos dentro de laboratórios de pesquisa e ferramentas para desenvolvedores. O ChatGPT embrulhou isso em uma caixa de chat simples que qualquer um pudesse abrir, gratuitamente, sem configuração. A tecnologia havia sido chegando por uma década; a interface chegou de uma vez, e essa é a parte que o público vivenciou como o início.

JunoA era do LLM e o momento do ChatGPT Faça o transformer maior, alimente com a maioria da internet, e algo surpreendente acontece: de nada além de aprender a prever a próxima palavra, ele pega gramática, fatos, até um tipo áspero de raciocínio, tudo por conta própria. Esses são modelos de linguagem grande. E ChatGPT em 2022? Isso não era uma nova invenção, era uma nova porta, uma caixa de chat simples que finalmente deixou todos entrar. A tecnologia havia estado chegando por uma década; a porta abriu de uma vez.

JunoA era do LLM e o momento do ChatGPT Escalone o transformer, treine-o para prever a próxima palavra na internet pública, e gramática, fatos e raciocínio áspero caem como efeitos colaterais. Isso é um LLM. O reframe para final de 2022: ChatGPT não era uma tecnologia nova, era uma nova interface. A capacidade havia sido construindo em laboratórios por anos; a caixa de chat simples a colocou na frente de todos da noite para o dia, e essa é a parte que o público experimentou como o início.

JunoA era do LLM e o momento do ChatGPT Faça maior, alimente com a internet, e um previsor de próxima palavra tranquilamente se torna algo que escreve, traduz e raciocina depois de uma moda. Esses são os LLMs. As pessoas pensam que o mundo mudou em novembro de 2022. Não mudou; a interface mudou. A capacidade havia sido compondo em pesquisa e ferramentas de dev por anos, e ChatGPT a embrulhou em uma caixa de chat que qualquer um pudesse abrir. Nova porta, edifício antigo.

De pé em décadas

Coloque a estrada de ponta a ponta e a forma é clara. Regras escritas à mão deram lugar a máquinas que aprendem com dados, que deram lugar a redes que aprendem suas próprias características, que deram lugar ao transformer e à descoberta de que a escala continua compensando. Cada passo quebrou o teto que o anterior atingiu, ao longo de aproximadamente setenta anos. Os modelos de hoje são a ponta dessa história, não seu início.

Isso não é uma lição de história por si só. É a razão pela qual este manual começa com fundamentais em vez de manchetes. O campo se move em ciclos de hype e inverno, e o modelo no topo este mês será substituído. O que não é substituído é uma compreensão de como esses sistemas funcionam, da mesma forma que as ideias de cada era superaram os produtos construídos sobre elas. Respeite a estrada, aprenda a camada durável, e o próximo lançamento se torna algo que você pode colocar em perspectiva em vez de algo que te derruba.

O próximo capítulo, Usando IA bem, passa de onde esses sistemas vieram para como realmente trabalhar com eles: onde a IA ganha um lugar em seu dia, onde não ganha, e como manter seu julgamento enquanto o resto do campo perde a cabeça.

JunoDe pé em décadas Coloque tudo e a forma é linda: regras escritas à mão deram lugar a aprender com dados, depois a redes que aprendem suas próprias características, depois ao transformer e escala, cada uma quebrando o teto da última, ao longo de aproximadamente setenta anos. Os modelos de hoje são a ponta de tudo isso, não o início. É por isso que aprendemos como as coisas funcionam aqui, não as manchetes, porque a compreensão é a parte que fica.

JunoDe pé em décadas De ponta a ponta: regras, depois aprender com dados, depois características aprendidas automaticamente, depois o transformer e a descoberta de que a escala continua compensando, cada passo passado a parede anterior, ao longo de setenta anos. Os modelos de hoje são a ponta, não a origem. Esse é o argumento todo para fundamentais sobre manchetes: o modelo no topo este mês é substituído, a compreensão de como esses sistemas funcionam não é.

JunoDe pé em décadas Setenta anos, quatro grandes passos, cada um quebrando o teto antes. Os modelos de hoje são a ponta dessa história, não seu início, qualquer que seja o que os posts de lançamento digam. Eu começo com a máquina em vez das manchetes por uma razão: vi o produto no topo ser substituído vez após vez, e a coisa que nunca foi substituída foi entender como funciona. Aprenda a camada durável. Os rankings são o problema de outro.