Una breve historia de la IA

Cuando ChatGPT llegó a fines de 2022, dio la sensación de que la IA había aparecido de la noche a la mañana. Una semana casi nadie que conocías le hablaba a una computadora en lenguaje simple; a la siguiente, todos lo hacían. Es una historia tentadora, y también es errónea de una manera que importa, porque esconde de dónde vienen realmente estos sistemas.

El cuadro de chat era nuevo. La ciencia detrás no lo era. Lo que estás usando es la punta visible de unos setenta años de trabajo, una pila de ideas donde cada una rompió el techo que la anterior había alcanzado. Conocer ese camino no es un dato de trivia. Te dice qué partes de este campo son duraderas y cuáles son moda pasajera, y esa diferencia es la que separa a quien persigue cada titular de quien entiende sobre qué está construyendo.

Decirle a las computadoras las reglas

El campo tiene una fecha de nacimiento. En 1956, un pequeño grupo de investigadores se reunió en Dartmouth College para un taller de verano hoy famoso y le dio a la idea su nombre: inteligencia artificial. Unos años antes, en 1950, Alan Turing, el matemático británico que ayudó a inventar la computación misma, ya había planteado la pregunta que todavía sobrevuela el campo: si una máquina podría alguna vez convencerte de que estaba pensando (una idea hoy conocida como la prueba de Turing).

La primera respuesta duró décadas y se apoyaba en una idea que sonaba sensata: si quieres que una computadora actúe con inteligencia, escribe a mano las reglas de la inteligencia. Los expertos plasmaban su conocimiento en largas listas de "si pasa esto, entonces haz aquello", y los programas que las ejecutaban se llamaban sistemas expertos. Para problemas acotados y bien definidos, como diagnosticar un tipo específico de enfermedad o configurar una máquina según un pedido, funcionaban.

Después chocaron contra una pared, y esa pared es la lección de la época. El mundo real tiene demasiadas reglas, y la mayoría nadie puede enunciarlas. Distingues a un gato de un perro en un instante, pero intenta escribir la regla exacta que los separa y vas a pasarte toda la semana en eso y seguir sin cubrir todos los casos. El conocimiento programado a mano no escala frente al desorden de la realidad, y romper ese techo fue justamente para lo que sirvió la siguiente idea.

JunoDecirle a las computadoras las reglas Así que la IA no es nada nueva: el nombre data de 1956, y Turing hizo la gran pregunta ya en 1950. La primera idea fue la natural: si quieres que una computadora actúe de forma inteligente, escribe todas las reglas a mano. Funcionaba para problemas chiquitos y ordenados, y se desmoronaba con los reales, porque intenta escribir la regla exacta para distinguir un gato de un perro. No puedes, y esa es toda la lección aquí.

JunoDecirle a las computadoras las reglas La lección de las primeras décadas: la gente intentó escribir a mano la inteligencia como reglas de si-entonces, los sistemas expertos. Bien para problemas acotados y ordenados, inútil para los complicados. La razón importa porque vuelve a aparecer todo el tiempo: la mayor parte del conocimiento del mundo real es demasiado vasto y difuso para plasmarlo a mano. Esa pared es justo lo que cada idea posterior intentó superar.

JunoDecirle a las computadoras las reglas La IA recibió su nombre en 1956, sobre una pregunta que Turing planteó en 1950, así que cualquiera que la llame algo nuevecito no ha leído mucho al respecto. El primer enfoque fue escribir a mano las reglas de la inteligencia. Aguantó en problemas de juguete y se derrumbó en los reales, por la razón de siempre: no puedes escribir a mano las partes desordenadas del mundo. Recuerda esto la próxima vez que alguien te prometa que ya tiene todo mapeado.

Dejarlas aprender en cambio

Si no puedes escribir las reglas, la alternativa es dejar que la máquina las encuentre. En lugar de decirle a una computadora cómo distinguir un gato de un perro, le muestras miles de ejemplos etiquetados y dejas que ella misma descubra el patrón. Esto es machine learning, y le da vuelta a la tarea: dejas de programar la respuesta y empiezas a suministrar los datos, y luego dejas que el programa infiera la regla.

El camino hacia ahí no fue parejo. Dos veces el campo prometió mucho más de lo que podía cumplir, el financiamiento se secó, y el progreso se estancó durante años. Esos períodos se recuerdan como los inviernos de la IA, y son la advertencia más clara que ofrece esta historia. La IA ya se sobrevendió antes, más de una vez, y cada ciclo se sintió tan seguro como se siente este. La técnica que finalmente dio resultado casi nunca era la que hacía las promesas más ruidosas en ese momento.

JunoDejarlas aprender en cambio Aquí está el giro inteligente: en lugar de escribir las reglas, le muestras a la máquina montones de ejemplos y dejas que descubra el patrón por sí misma. Eso es machine learning. Pero el camino no fue parejo, hubo estos largos períodos fríos llamados los inviernos de la IA, donde todos se entusiasmaron de más, el dinero se secó y el progreso se detuvo. Vale la pena recordarlo cuando todo esto se sienta demasiado seguro: ya se sintió seguro antes.

JunoDejarlas aprender en cambio El machine learning le da vuelta a la tarea: dejas de escribir la respuesta, suministras los datos, y dejas que el programa infiera la regla. Un marco útil para llevarse. Pero la historia trae una advertencia incorporada, los inviernos de la IA, dos períodos donde el campo prometió de más y el financiamiento se derrumbó. La IA ya se sobrevendió antes, más de una vez, y la promesa más ruidosa del momento casi nunca era la técnica que finalmente dio resultado.

JunoDejarlas aprender en cambio Si no puedes escribir las reglas, deja que la máquina las encuentre a partir de ejemplos. Ese es el giro, y es bueno. Lo que realmente quiero que te lleves es la otra mitad: los inviernos de la IA. Dos veces el campo prometió el oro y el moro, el dinero se evaporó, y todo se congeló durante años. Cada ciclo se sintió tan inevitable como se siente este. Dejé de confiar en la voz más ruidosa del salón exactamente por esa razón.

El deep learning irrumpe

El machine learning temprano todavía dependía de personas para elegir a mano qué características de los datos importaban, su propia versión reducida del problema de programar a mano. El quiebre llegó cuando una idea antigua finalmente recibió lo que necesitaba: las redes neuronales, inspiradas de manera libre en cómo las neuronas del cerebro transmiten señales, que aprenden sus propias características directamente a partir de datos crudos.

Esa idea existía desde los años 50 y nunca había funcionado suficientemente bien. Dos cosas cambiaron alrededor de 2012. De repente hubo suficientes datos, gracias a un internet digitalizado, y suficiente poder de cómputo barato, gracias a los chips gráficos construidos para videojuegos, como para entrenar estas redes a una escala que valiera la pena. Una red neuronal (AlexNet) ganó un concurso importante de reconocimiento de imágenes por un margen amplio, y el campo se reorganizó casi de inmediato alrededor de ese enfoque. Esto es el deep learning, el motor detrás de todo lo que vino después.

La forma de ese avance se repite lo suficiente como para tener nombre propio: la idea no era nueva, los datos y el poder de cómputo sí lo eran. Buena parte del progreso en IA parece un salto repentino y en realidad es una idea antigua encontrándose con los recursos que había estado esperando.

JunoEl deep learning irrumpe Las redes neuronales están inspiradas de manera libre en cómo las neuronas del cerebro transmiten señales, y lo interesante es que ellas mismas descubren qué partes de los datos importan. La idea existe desde los años 50, pero recién funcionó bien alrededor de 2012, cuando hubo suficientes datos y suficiente poder de cómputo barato para entrenarla como corresponde. Una red aplastó un concurso de imágenes y todo el campo giró de golpe. Idea vieja, combustible nuevo, un patrón que vas a volver a ver.

JunoEl deep learning irrumpe El truco del deep learning: las redes neuronales aprenden sus propias características a partir de datos crudos, en vez de que las personas las elijan a mano. Todo encajó alrededor de 2012, cuando aparecieron dos cosas, la cantidad de datos de un internet digitalizado y el poder de cómputo barato de los chips de videojuegos, y una red ganó un gran concurso de imágenes por un margen amplio. La lección para quedarse: buena parte del progreso "repentino" en IA es una idea antigua que finalmente se encuentra con los recursos que estaba esperando.

JunoEl deep learning irrumpe Las redes neuronales datan de los años 50 y quedaron ahí, sin funcionar del todo, durante medio siglo. Después, alrededor de 2012, los datos y el cómputo barato finalmente le dieron alcance, un modelo ganó un concurso de imágenes por un margen vergonzoso, y todo el mundo redescubrió la idea de la noche a la mañana. Esa es la forma de la mayoría de los "avances" que he visto: la idea era vieja, los recursos eran nuevos. Me ayuda a no quedar embobado con las demos.

El transformer

El deep learning era fuerte con imágenes. El lenguaje era más difícil, porque el significado depende de cómo se relacionan las palabras a lo largo de toda una oración o párrafo, y las redes anteriores leían el texto palabra por palabra y perdían el hilo en cuanto la distancia crecía.

En 2017, un artículo de investigación presentó un diseño llamado transformer, construido alrededor de un mecanismo llamado atención: en lugar de leer palabra por palabra, pesa cómo se relaciona cada palabra con todas las demás al mismo tiempo. Eso suena como un detalle arquitectónico menor. Fue la clave que abrió todo. Un transformer entrena de manera eficiente con cantidades enormes de texto, y seguía mejorando cuanto más texto y más grande era la red que recibía. Esa última propiedad, que la escala seguía dando resultado en lugar de estancarse, dio pie a todo lo que vino después.

Todo modelo de este manual, y el cuadro de chat detrás de herramientas como ChatGPT, es en el fondo un transformer. Cuando llegues a Cómo funcionan los LLM, el ciclo de predicción que aprenderás ahí es esta arquitectura cumpliendo su única función.

JunoEl transformer El lenguaje era el problema difícil, porque el significado depende de cómo se conectan las palabras a lo largo de toda una oración, y las redes más viejas leían una palabra a la vez y perdían el hilo. Después, en 2017, llegó el transformer, con un truco llamado atención que mira cómo se relaciona cada palabra con todas las demás al mismo tiempo. Esa fue la clave que abrió todo. Todo modelo que vas a conocer, incluido el cuadro de chat, es un transformer por debajo. Bastante increíble, ¿no?

JunoEl transformer El transformer de 2017 es la arquitectura detrás de todo lo que vas a tocar aquí. Su jugada es la atención: pesar cómo se relaciona cada palabra con todas las demás al mismo tiempo, en vez de leer de izquierda a derecha e ir olvidando. Lo que realmente importó es que seguía mejorando cuanto más texto y cómputo le tirabas, en vez de estancarse. Esa propiedad de que "la escala sigue dando resultado" dio pie a toda la época.

JunoEl transformer Las imágenes estaban resueltas; el lenguaje no, porque el significado vive en cómo se relacionan las palabras a distancia y las redes viejas leían una palabra a la vez. El transformer de 2017 arregló eso con la atención, comparando cada palabra con todas las demás a la vez. Suena como una nota al pie, fue la clave que abrió todo. La propiedad que cambió el juego era aburrida en el papel: seguía mejorando a medida que la escalabas. Todo lo que vino después es esa misma idea, escalada hasta volverse costosa.

La era de los LLM y el momento ChatGPT

Con el transformer ya en mano, una pregunta tomó el control: ¿qué pasa si lo haces más grande y le das más de comer? La respuesta, que se repitió a lo largo de una serie de modelos desde 2018 en adelante, fue que seguía volviéndose más capaz de maneras que nadie había programado a mano. Entrenados para hacer nada más que predecir la siguiente palabra a lo largo de la mayor parte del internet público, estos modelos adquirieron gramática, datos concretos, traducción y una especie de razonamiento rudimentario como efectos secundarios de esa única tarea. Estos son los modelos de lenguaje grandes (LLM), y el próximo capítulo trata sobre cómo funciona en realidad esa predicción.

Entonces, ¿por qué se sintió tan repentino a fines de 2022? Porque lo que la mayoría de la gente encontró no fue un modelo nuevo, fue una puerta nueva. La capacidad de fondo se había estado construyendo durante años dentro de laboratorios de investigación y herramientas para desarrolladores. ChatGPT la envolvió en un cuadro de chat simple que cualquiera podía abrir, gratis, sin ninguna configuración. La tecnología había estado llegando durante una década; la interfaz llegó de golpe, y esa es la parte que el público vivió como el comienzo.

JunoLa era de los LLM y el momento ChatGPT Haz el transformer más grande, dale de comer la mayor parte de internet, y pasa algo sorprendente: a partir de nada más que aprender a predecir la siguiente palabra, adquiere gramática, datos concretos, hasta una especie de razonamiento rudimentario, todo por su cuenta. Eso son los modelos de lenguaje grandes. ¿Y ChatGPT en 2022? Eso no fue un invento nuevo, fue una puerta nueva, un cuadro de chat simple que finalmente le abrió paso a todos. La tecnología había estado llegando durante una década; la puerta se abrió de golpe.

JunoLa era de los LLM y el momento ChatGPT Escala el transformer, entrénalo para predecir la siguiente palabra a lo largo del internet público, y la gramática, los datos concretos y un razonamiento rudimentario aparecen como efectos secundarios. Eso es un LLM. El replanteo para fines de 2022: ChatGPT no fue tecnología nueva, fue una interfaz nueva. La capacidad se había estado construyendo en laboratorios durante años; el cuadro de chat simple la puso frente a todos de la noche a la mañana, y esa es la parte que el público vivió como el comienzo.

JunoLa era de los LLM y el momento ChatGPT Hazlo más grande, dale de comer internet, y un predictor de la siguiente palabra se convierte silenciosamente en algo que escribe, traduce y razona a su manera. Esos son los LLM. La gente piensa que el mundo cambió en noviembre de 2022. No fue así; lo que cambió fue la interfaz. La capacidad se había estado acumulando en investigación y herramientas de desarrollo durante años, y ChatGPT la envolvió en un cuadro de chat que cualquiera podía abrir. Puerta nueva, edificio viejo.

Apoyados en décadas de trabajo

Si extiendes el camino de punta a punta, la forma queda clara. Las reglas escritas a mano le dieron paso a máquinas que aprenden de los datos, que le dieron paso a redes que aprenden sus propias características, que le dieron paso al transformer y al descubrimiento de que la escala sigue dando resultado. Cada paso rompió el techo que había alcanzado el anterior, a lo largo de unos setenta años. Los modelos de hoy son la punta de esa historia, no su comienzo.

Esto no es una lección de historia por el simple gusto de contarla. Es la razón por la que este manual empieza con los fundamentos en lugar de los titulares. El campo se mueve en ciclos de entusiasmo exagerado e inviernos, y el modelo que está arriba este mes va a ser reemplazado. Lo que no se reemplaza es la comprensión de cómo funcionan estos sistemas, de la misma manera en que las ideas de cada época sobrevivieron a los productos construidos sobre ellas. Respeta el camino, aprende la capa duradera, y el próximo lanzamiento se vuelve algo que puedes ubicar en su lugar en vez de algo que te tumba.

El próximo capítulo, Usar bien la IA, deja de mirar de dónde vinieron estos sistemas y pasa a cómo trabajar de verdad con ellos: dónde la IA se gana un lugar en tu día, dónde no, y cómo mantener tu criterio mientras el resto del campo pierde la cabeza.

JunoApoyados en décadas de trabajo Extiende todo y la forma es hermosa: las reglas escritas a mano le dieron paso a aprender de los datos, después a redes que aprenden sus propias características, después al transformer y a la escala, cada una rompiendo el techo que había alcanzado la anterior, a lo largo de unos setenta años. Los modelos de hoy son la punta de todo eso, no el comienzo. Por eso aquí aprendemos cómo funcionan las cosas, no los titulares, porque la comprensión es la parte que se queda.

JunoApoyados en décadas de trabajo De punta a punta: reglas, después aprender de los datos, después características aprendidas automáticamente, después el transformer y el descubrimiento de que la escala sigue dando resultado, cada paso superando el muro anterior, a lo largo de setenta años. Los modelos de hoy son la punta, no el origen. Ese es todo el argumento a favor de los fundamentos por encima de los titulares: el modelo que está arriba este mes termina reemplazado, la comprensión de cómo funcionan estos sistemas no.

JunoApoyados en décadas de trabajo Setenta años, cuatro grandes pasos, cada uno rompiendo el techo del anterior. Los modelos de hoy son la punta de esa historia, no su comienzo, digan lo que digan las publicaciones de lanzamiento. Empiezo con la máquina en lugar de los titulares por una sola razón: he visto al producto que está arriba ser reemplazado una y otra vez, y lo único que nunca se reemplazó fue entender cómo funciona. Aprende la capa duradera. Los rankings son problema de otro.