Una breve historia de la IA

docs.scrimba.com

Cuando ChatGPT llegó a finales de 2022, parecía que la IA había aparecido de la noche a la mañana. Una semana casi nadie que conocieras estaba hablando con una computadora en lenguaje natural; la siguiente, todos lo hacían. Es una historia tentadora, y también es incorrecta de una manera que importa, porque oculta de dónde vinieron estos sistemas.

El chat era nuevo. La ciencia detrás de él no lo era. Lo que estás usando es la punta visible de aproximadamente setenta años de trabajo, una pila de ideas donde cada una rompió el techo que la anterior golpeó. Conocer ese camino no es trivialidad. Te dice qué partes de este campo son duraderas y cuáles son moda, que es la diferencia entre perseguir cada titular y entender en qué te basas.

Diciéndole a las computadoras las reglas

El campo tiene un cumpleaños. En 1956 un pequeño grupo de investigadores se reunió en Dartmouth College para un taller de verano ahora famoso y le dieron un nombre a la idea: inteligencia artificial. Unos años antes, en 1950, Alan Turing, el matemático británico que ayudó a inventar la computación en sí, ya había planteado la pregunta que sigue colgando sobre el campo, si una máquina podría alguna vez convencerte de que estaba pensando (una idea ahora conocida como la prueba de Turing).

La primera respuesta se prolongó durante décadas y se basó en una idea que suena razonable: si quieres que una computadora actúe inteligentemente, escribe las reglas de la inteligencia a mano. Los expertos especificaron su conocimiento como largas listas de si-esto-entonces-aquello, y los programas que las ejecutaban se llamaban sistemas expertos. Para problemas estrechos y ordenados, como diagnosticar un tipo específico de enfermedad o configurar una máquina para un pedido, funcionaban.

Luego golpearon una pared, y esa pared es la lección de la era. El mundo real tiene demasiadas reglas, y la mayoría de ellas nadie puede enunciarlas. Distingues un gato de un perro al instante, pero intenta escribir la regla exacta que los separa y estarás en eso toda una semana y aún así te perderás casos. El conocimiento codificado a mano no escala al desorden de la realidad, y romper ese techo es para lo que la siguiente idea fue creada.

JunoDiciéndole a las computadoras las reglas Así que la IA no es nueva en absoluto, el nombre data de 1956, y Turing hizo la gran pregunta en 1950. La primera idea fue la natural: si quieres que una computadora actúe inteligentemente, escribe todas las reglas a mano. Funcionó para pequeños problemas ordenados y se derrumbó en los reales, porque intenta escribir la regla exacta para distinguir un gato de un perro. No puedes, y esa es toda la lección aquí.

JunoDiciéndole a las computadoras las reglas La conclusión de las primeras décadas: la gente intentó escribir la inteligencia a mano como reglas si-entonces, los sistemas expertos. Bien para problemas estrechos y ordenados, inútil para los desordenados. La razón importa porque sigue volviendo: la mayoría del conocimiento del mundo real es demasiado vasto y demasiado borroso para enunciarlo a mano. Ese muro es lo que cada idea posterior fue construida para superar.

JunoDiciéndole a las computadoras las reglas La IA recibió su nombre en 1956, sobre una pregunta que Turing planteó en 1950, así que cualquiera que la llame completamente nueva no ha leído mucho. El primer enfoque fue escribir las reglas de la inteligencia a mano. Se mantuvo en problemas de juguete y colapsó en los reales, por la razón por la que siempre sucede: no puedes escribir a mano las partes desordenadas del mundo. Recuerda eso la próxima vez que alguien promete que lo tiene todo mapeado.

Dejándolas aprender en su lugar

Si no puedes escribir las reglas, la alternativa es dejar que la máquina las encuentre. En lugar de decirle a una computadora cómo distinguir un gato de un perro, le muestras miles de ejemplos etiquetados y dejas que descubra el patrón por sí misma. Este es el aprendizaje automático, y invierte el trabajo: dejas de programar la respuesta y comienzas a suministrar los datos, luego dejas que el programa infiera la regla.

El camino hacia allí no fue suave. Dos veces el campo prometió mucho más de lo que podía entregar, el dinero se secó, y el progreso se estancó durante años seguidos. Esos períodos se recuerdan como los inviernos de la IA, y son la advertencia más severa que ofrece la historia. La IA ha sido exagerada antes, más de una vez, y cada ciclo se sentía tan seguro como este. La técnica que funcionó al final rara vez era la que hacía las promesas más ruidosas en ese momento.

JunoDejándolas aprender en su lugar Aquí está el giro inteligente: en lugar de escribir las reglas, le muestras a la máquina montones de ejemplos y dejas que descubra el patrón por sí misma. Ese es el aprendizaje automático. El camino hacia allí no fue suave, hubo estos largos períodos fríos llamados inviernos de la IA donde todos se emocionaban demasiado, el dinero se secaba, y el progreso se estancaba. Vale la pena recordar cuando todo esto se siente demasiado cierto: se ha sentido cierto antes.

JunoDejándolas aprender en su lugar El aprendizaje automático invierte el trabajo: deja de escribir la respuesta, suministra los datos, deja que el programa infiera la regla. Marco útil para llevar. Pero la historia tiene una advertencia integrada, los inviernos de la IA, dos períodos donde el campo exageró sus promesas y la financiación colapsó. La IA ha sido exagerada antes, más de una vez, y la promesa más ruidosa en ese momento rara vez era la técnica que funcionó.

JunoDejándolas aprender en su lugar Si no puedes escribir las reglas, deja que la máquina las encuentre a partir de ejemplos. Ese es el giro, y es uno bueno. Lo que realmente quiero que mantengas es la otra mitad: los inviernos de la IA. Dos veces el campo prometió la luna, el dinero se evaporó, y todo se congeló durante años. Cada ciclo se sentía tan inevitable como este. Dejé de confiar en la voz más ruidosa de la sala exactamente por esa razón.

El aprendizaje profundo rompe barreras

El aprendizaje automático temprano todavía dependía de que las personas eligieran manualmente qué características de los datos importaban, su propia versión más pequeña del problema del codificado a mano. La ruptura vino de una idea antigua finalmente recibiendo lo que necesitaba: redes neuronales, vagamente inspiradas en cómo las células del cerebro pasan señales, que aprenden sus propias características directamente de datos sin procesar.

Esa idea había estado por ahí desde los años 50 y nunca funcionó lo suficientemente bien. Dos cosas cambiaron alrededor de 2012. De repente había suficientes datos, de un internet digitalizado, y suficiente poder computacional barato, de los chips gráficos construidos para videojuegos, para entrenar estas redes a una escala que valía la pena. Una red neuronal (AlexNet) ganó un importante concurso de reconocimiento de imágenes por un margen amplio, y el campo se reorganizó alrededor del enfoque casi de inmediato. Este es el aprendizaje profundo, el motor detrás de todo lo que siguió.

La forma de ese avance se repite lo suficiente para nombrarse: la idea no era nueva, los datos y el cómputo sí lo eran. Mucho del progreso de la IA parece un salto repentino y es realmente una idea antigua encontrándose con los recursos que había estado esperando.

JunoEl aprendizaje profundo rompe barreras Las redes neuronales están vagamente inspiradas en cómo las células del cerebro pasan señales, y lo interesante es que descubren por sí mismas cuáles bits de los datos importan. La idea ha estado por ahí desde los años 50, pero realmente funcionó alrededor de 2012, una vez que hubo suficientes datos y poder computacional barato para entrenarla adecuadamente. Una red aplastó un concurso de imágenes y todo el campo cambió de dirección. Idea antigua, combustible nuevo, un patrón que verás de nuevo.

JunoEl aprendizaje profundo rompe barreras El truco del aprendizaje profundo: las redes neuronales aprenden sus propias características a partir de datos sin procesar en lugar de que las personas las elijan manualmente. Funcionó alrededor de 2012 cuando dos cosas aparecieron, los datos de un internet digitalizado y cómputo de GPU barato de chips para juegos, y una red ganó un gran concurso de imágenes por un margen amplio. La lección para guardar: mucho del progreso "repentino" de la IA es una idea antigua finalmente encontrándose con los recursos que estaba esperando.

JunoEl aprendizaje profundo rompe barreras Las redes neuronales datan de los años 50 y se quedaron ahí sin funcionar bien durante medio siglo. Luego alrededor de 2012 los datos y el cómputo barato finalmente se pusieron al día, un modelo ganó un concurso de imágenes por un margen vergonzoso, y todos redescubrieron la idea de la noche a la mañana. Esa es la forma de la mayoría de los "avances" que he visto: la idea era antigua, los recursos eran nuevos. Me impide deslumbrarme con las demostraciones.

El transformer

El aprendizaje profundo fue fuerte en imágenes. El lenguaje era más difícil, porque el significado depende de cómo las palabras se relacionan en toda una oración o párrafo, y las redes anteriores leían el texto una palabra a la vez y perdían el hilo en cualquier distancia.

En 2017 un artículo de investigación introdujo un diseño llamado el transformer, construido alrededor de un mecanismo llamado atención: en lugar de leer palabra por palabra, pondera cómo cada palabra se relaciona con cada otra palabra a la vez. Eso suena como un pequeño detalle arquitectónico. Fue el desbloqueo. Un transformer se entrena eficientemente en enormes cantidades de texto, y siguió mejorando cuanto más texto y cuanto más grande era la red que se le daba. Esa última propiedad, que la escala siguió valiendo la pena en lugar de aplanarse, configuró todo lo que vino después.

Cada modelo en este manual, y el chat detrás de herramientas como ChatGPT, es un transformer en el corazón. Cuando llegas a Cómo funcionan los LLM, el bucle de predicción que aprendes allí es esta arquitectura haciendo su único trabajo.

JunoEl transformer El lenguaje fue el difícil, porque el significado depende de cómo las palabras se conectan en toda una oración, y las redes más antiguas leían una palabra a la vez y perdían el hilo. Luego en 2017 llegó el transformer, con un truco llamado atención que mira cómo cada palabra se relaciona con cada otra palabra todo a la vez. Ese fue el desbloqueo. Cada modelo que encontrarás, incluida la caja de chat, es un transformer debajo. Bastante increíble, ¿verdad?

JunoEl transformer El transformer de 2017 es la arquitectura bajo todo lo que tocarás aquí. Su movimiento es atención: pondera cómo cada palabra se relaciona con cada otra palabra a la vez, en lugar de leer de izquierda a derecha y olvidar. La parte que realmente importó es que siguió mejorando cuanto más texto y cómputo le echabas, en lugar de aplanarse. Esa propiedad de "la escala sigue pagando" configuró toda la era.

JunoEl transformer Las imágenes fueron resueltas; el lenguaje no, porque el significado vive en cómo las palabras se relacionan a través de la distancia y las redes antiguas leían una palabra a la vez. El transformer de 2017 lo arregló con atención, ponderando cada palabra contra cada otra a la vez. Suena como una nota al pie, fue el desbloqueo. La propiedad que cambió el juego era aburrida en el papel: siguió mejorando mientras la escalabas. Todo desde entonces es esa sola idea, escalada hasta que se volvió cara.

La era del LLM y el momento de ChatGPT

Con el transformer en la mano, una pregunta tomó el control: ¿qué pasa si lo haces más grande y le alimentas más? La respuesta, repetida a lo largo de una línea de modelos desde 2018 en adelante, fue que siguió siendo más capaz de formas que nadie había programado a mano. Entrenados para hacer nada más que predecir la siguiente palabra en la mayoría del internet público, estos modelos adquirieron gramática, hechos, traducción, y una clase aproximada de razonamiento como efectos secundarios de esa única tarea. Estos son modelos de lenguaje grande, y el siguiente capítulo trata sobre cómo funciona realmente esa predicción.

Entonces, ¿por qué se sintió repentino a finales de 2022? Porque lo que la mayoría de la gente encontró no fue un modelo nuevo, fue una puerta nueva. La capacidad subyacente había estado construyéndose durante años dentro de laboratorios de investigación y herramientas de desarrollo. ChatGPT la envolvió en una caja de chat simple que cualquiera podía abrir, gratis, sin configuración. La tecnología había estado llegando durante una década; la interfaz llegó de una sola vez, y esa es la parte que el público vivió como el comienzo.

JunoLa era del LLM y el momento de ChatGPT Haz el transformer más grande, aliméntalo la mayoría del internet, y sucede algo sorprendente: de nada más que aprender a predecir la siguiente palabra, adquiere gramática, hechos, incluso una clase aproximada de razonamiento, todo por su cuenta. Esos son modelos de lenguaje grande. ¿Y ChatGPT en 2022? Eso no fue una invención nueva, fue una puerta nueva, una caja de chat simple que finalmente dejó entrar a todos. La tecnología había estado llegando durante una década; la puerta se abrió de una sola vez.

JunoLa era del LLM y el momento de ChatGPT Escala el transformer hacia arriba, entrénalo para predecir la siguiente palabra en todo el internet público, y la gramática, hechos, y razonamiento aproximado caen como efectos secundarios. Ese es un LLM. El replanteamiento de finales de 2022: ChatGPT no era tecnología nueva, era una interfaz nueva. La capacidad había estado construyéndose en laboratorios durante años; la caja de chat simple la puso frente a todos de la noche a la mañana, y esa es la parte que el público experimentó como el comienzo.

JunoLa era del LLM y el momento de ChatGPT Hazlo más grande, aliméntalo el internet, y un predictor de siguiente palabra silenciosamente se convierte en algo que escribe, traduce, y razona después de la moda. Esos son los LLM. La gente piensa que el mundo cambió en noviembre de 2022. No cambió; la interfaz sí. La capacidad había estado componiéndose en investigación y herramientas de desarrollo durante años, y ChatGPT la envolvió en una caja de chat que cualquiera podía abrir. Puerta nueva, edificio viejo.

De pie en décadas

Coloca el camino de extremo a extremo y la forma es clara. Las reglas escritas a mano cedieron paso a máquinas que aprenden de los datos, que cedieron paso a redes que aprenden sus propias características, que cedieron paso al transformer y al descubrimiento de que la escala sigue pagando. Cada paso rompió el techo que el paso anterior golpeó, a lo largo de aproximadamente setenta años. Los modelos de hoy son la punta de esa historia, no su comienzo.

Esto no es una lección de historia por su propia cuenta. Es la razón por la que este manual comienza con fundamentos en lugar de titulares. El campo se mueve en ciclos de exageración e invierno, y el modelo en la cima este mes será reemplazado. Lo que no se reemplaza es una comprensión de cómo funcionan estos sistemas, de la misma manera que las ideas de cada era sobrevivieron a los productos construidos sobre ellas. Respeta el camino, aprende la capa duradera, y el próximo lanzamiento se convierte en algo que puedes colocar en lugar de algo que te derribe.

El próximo capítulo, Usar la IA bien, se aleja de dónde vinieron estos sistemas a cómo trabajar realmente con ellos: dónde la IA gana un lugar en tu día, dónde no, y cómo mantener tu juicio mientras el resto del campo pierde el suyo.

JunoDe pie en décadas Colócalo todo y la forma es hermosa: las reglas escritas a mano cedieron paso al aprendizaje a partir de datos, luego a redes que aprenden sus propias características, luego al transformer y la escala, cada una rompiendo el techo que la última golpeó, a lo largo de aproximadamente setenta años. Los modelos de hoy son la punta de todo eso, no el comienzo. Por eso aprendemos cómo funcionan las cosas aquí, no los titulares, porque la comprensión es la parte que se queda.

JunoDe pie en décadas De extremo a extremo: reglas, luego aprendizaje a partir de datos, luego características aprendidas automáticamente, luego el transformer y el descubrimiento de que la escala sigue pagando, cada paso pasado el muro anterior, a lo largo de setenta años. Los modelos de hoy son la punta, no el origen. Ese es el argumento completo para fundamentos sobre titulares: el modelo en la cima este mes se reemplaza, la comprensión de cómo funcionan estos sistemas no.

JunoDe pie en décadas Setenta años, cuatro grandes pasos, cada uno rompiendo el techo antes de él. Los modelos de hoy son la punta de esa historia, no su comienzo, sea lo que sea lo que los posts de lanzamiento te digan. Comienzo con la máquina en lugar de los titulares por una razón: he visto el producto en la cima ser reemplazado una y otra vez, y la cosa que nunca se reemplazó fue la comprensión de cómo funciona. Aprende la capa duradera. Las clasificaciones son el problema de otro.