AI의 짧은 역사

2022년 말 ChatGPT가 등장했을 때, 마치 AI가 하룻밤 사이에 나타난 것처럼 느껴졌습니다. 어느 한 주에는 주변에 평범한 언어로 컴퓨터와 대화하는 사람이 거의 없었는데, 그다음 주에는 모두가 그렇게 하고 있었습니다. 그럴듯한 이야기이지만, 이 시스템들이 어디에서 왔는지를 가려버린다는 점에서 중요한 오류이기도 합니다.

채팅창은 새로웠지만, 그 아래에 깔린 과학은 새로운 것이 아니었습니다. 여러분이 지금 쓰고 있는 것은 약 70년에 걸친 연구의 눈에 보이는 끝부분일 뿐이며, 앞선 아이디어가 부딪힌 한계를 다음 아이디어가 하나씩 뛰어넘으며 쌓아온 결과물입니다. 이 흐름을 아는 것은 그저 잡학 상식이 아닙니다. 이 분야에서 어떤 부분이 오래가는 본질이고 어떤 부분이 유행인지를 알려주며, 이는 매번 새로운 헤드라인을 좇는 것과 자신이 딛고 서 있는 토대를 이해하는 것 사이의 차이를 만듭니다.

컴퓨터에게 규칙을 알려주다

이 분야에도 탄생일이 있습니다. 1956년, 소수의 연구자들이 다트머스 대학교에 모여 지금은 유명해진 여름 워크숍을 열고 이 아이디어에 이름을 붙였습니다. 바로 인공지능입니다. 그보다 몇 년 앞선 1950년, 컴퓨팅 자체를 발명하는 데 기여한 영국의 수학자 앨런 튜링은 이미 이 분야를 여전히 따라다니는 질문, 즉 기계가 자신이 생각하고 있다고 여러분을 납득시킬 수 있는지(오늘날 튜링 테스트로 알려진 개념)에 대한 질문을 던진 바 있습니다.

이 질문에 대한 첫 번째 답은 수십 년간 이어졌고, 그 바탕에는 그럴듯해 보이는 생각이 있었습니다. 컴퓨터가 지능적으로 행동하게 하려면 지능의 규칙을 사람이 직접 적어주면 된다는 것이었습니다. 전문가들은 자신의 지식을 '이러면 이렇게 한다'식의 긴 목록으로 정리했고, 이를 실행하는 프로그램은 전문가 시스템이라 불렸습니다. 특정 질병을 진단하거나 주문에 맞춰 기계를 설정하는 것처럼 범위가 좁고 깔끔한 문제에서는 이 방식이 통했습니다.

그러다 벽에 부딪혔고, 그 벽이 바로 이 시대의 교훈입니다. 현실 세계에는 규칙이 너무 많고, 그중 대부분은 누구도 명확히 말로 표현할 수 없습니다. 여러분은 고양이와 개를 한순간에 구별하지만, 둘을 나누는 정확한 규칙을 직접 적어보려 하면 일주일을 매달려도 놓치는 경우가 계속 나올 것입니다. 사람이 직접 코딩한 지식은 현실의 복잡함을 감당할 만큼 확장되지 않았고, 다음 아이디어는 바로 이 한계를 넘어서기 위한 것이었습니다.

Juno컴퓨터에게 규칙을 알려주다 그러니 AI는 전혀 새로운 게 아닙니다. 이름 자체가 1956년에 붙여졌고, 튜링은 이미 1950년에 그 커다란 질문을 던졌죠. 처음 나온 아이디어는 자연스러운 것이었습니다. 컴퓨터가 똑똑하게 행동하길 원한다면 모든 규칙을 사람이 직접 적어주면 된다는 것이었습니다. 이 방식은 깔끔하고 작은 문제에서는 통했지만 실제 문제에서는 무너졌습니다. 고양이와 개를 구별하는 정확한 규칙을 한번 적어보세요. 못 합니다. 바로 그게 여기서 얻을 수 있는 교훈 전부입니다.

Juno컴퓨터에게 규칙을 알려주다 초기 수십 년에서 얻는 교훈은 이렇습니다. 사람들은 지능을 '이러면 이렇게'식 규칙으로 직접 적으려 했고, 그것이 전문가 시스템이었습니다. 범위가 좁고 깔끔한 문제에는 괜찮았지만 지저분한 문제에는 무용지물이었습니다. 이 이유가 중요한 건 이후에도 계속 반복되기 때문입니다. 현실 세계의 지식은 대부분 너무 방대하고 모호해서 사람이 직접 적어낼 수 없습니다. 이후의 모든 아이디어는 바로 이 벽을 넘기 위해 만들어졌습니다.

Juno컴퓨터에게 규칙을 알려주다 AI라는 이름은 1956년에 붙었고, 그보다 앞서 튜링이 1950년에 이미 질문을 던졌으니, 이걸 완전히 새로운 것이라 부르는 사람은 아는 게 별로 없는 겁니다. 처음 접근법은 지능의 규칙을 사람이 직접 적는 것이었습니다. 장난감 같은 문제에서는 버텼지만 실제 문제에서는 무너졌는데, 언제나 같은 이유입니다. 세상의 지저분한 부분은 사람이 직접 적어낼 수 없다는 것이죠. 누군가 모든 걸 다 파악했다고 장담할 때마다 이걸 기억하시길 바랍니다.

대신 스스로 배우게 하다

규칙을 직접 적을 수 없다면, 대안은 기계가 스스로 규칙을 찾아내게 하는 것입니다. 컴퓨터에게 고양이와 개를 구별하는 방법을 알려주는 대신, 수천 개의 레이블이 붙은 예시를 보여주고 패턴을 스스로 찾아내게 하는 것입니다. 이것이 머신러닝이며, 이는 일의 순서를 뒤집습니다. 답을 프로그래밍하는 대신 데이터를 제공하고, 프로그램이 규칙을 추론하게 하는 것입니다.

그 과정은 순탄치 않았습니다. 이 분야는 두 차례에 걸쳐 실제로 해낼 수 있는 것보다 훨씬 많은 것을 약속했고, 자금이 끊기면서 몇 년씩 발전이 멈춰 섰습니다. 이 시기는 AI의 겨울이라 불리며, 역사가 주는 가장 뼈아픈 경고이기도 합니다. AI는 예전에도 한 번이 아니라 여러 번 과대평가된 적이 있으며, 매 순환마다 지금처럼 확실해 보였습니다. 결국 성과를 낸 기술은 당시 가장 큰소리로 떠들던 기술이 아닌 경우가 많았습니다.

Juno대신 스스로 배우게 하다 여기 재미있는 반전이 있습니다. 규칙을 적는 대신 기계에게 잔뜩 예시를 보여주고 패턴을 스스로 찾아내게 하는 것입니다. 그게 바로 머신러닝입니다. 다만 그 길이 순탄하지는 않았습니다. AI의 겨울이라 불리는 길고 추운 시기가 있었는데, 모두가 지나치게 흥분했다가 자금이 끊기고 발전이 멈춰버렸죠. 지금 모든 게 너무 확실해 보일 때 기억할 만합니다. 예전에도 그렇게 확실해 보인 적이 있었으니까요.

Juno대신 스스로 배우게 하다 머신러닝은 일의 순서를 뒤집습니다. 답을 적는 대신 데이터를 주고, 프로그램이 규칙을 추론하게 하는 것이죠. 기억해둘 만한 유용한 틀입니다. 다만 이 역사에는 경고가 내포되어 있는데, 바로 AI의 겨울입니다. 이 분야가 과도한 약속을 하고 자금이 무너진 두 차례의 시기죠. AI는 예전에도 한 번이 아니라 여러 번 과대평가되었고, 당시 가장 큰소리치던 약속이 결국 성과를 낸 기술인 경우는 드물었습니다.

Juno대신 스스로 배우게 하다 규칙을 적을 수 없다면 기계가 예시를 통해 스스로 찾게 하면 됩니다. 그게 이 전환의 핵심이고, 훌륭한 전환입니다. 제가 정말로 기억해두라고 하고 싶은 건 나머지 절반, 바로 AI의 겨울입니다. 이 분야는 두 차례나 엄청난 것을 약속했다가 자금이 증발하고 몇 년씩 모든 게 멈춰버렸습니다. 매 순환이 지금처럼 필연적으로 느껴졌습니다. 바로 그 이유 때문에 저는 방 안에서 가장 큰소리치는 목소리를 더 이상 믿지 않게 됐습니다.

딥러닝의 돌파

초기 머신러닝은 여전히 데이터의 어떤 특징이 중요한지를 사람이 직접 골라줘야 했는데, 이는 앞선 수작업 코딩 문제의 축소판이었습니다. 돌파구는 오래된 아이디어가 마침내 필요한 조건을 갖추면서 찾아왔습니다. 바로 뉴런이 신호를 전달하는 방식에서 어렴풋이 착안한 신경망으로, 원본 데이터에서 스스로 특징을 학습하는 방식이었습니다.

이 아이디어는 1950년대부터 있었지만 충분히 잘 작동한 적이 없었습니다. 그런데 2012년 무렵 두 가지가 바뀌었습니다. 디지털화된 인터넷 덕분에 데이터가 갑자기 충분해졌고, 비디오 게임용으로 만들어진 그래픽 칩 덕분에 저렴한 컴퓨팅 파워도 충분해져서, 이런 신경망을 성과가 나올 만한 규모로 훈련시킬 수 있게 됐습니다. 신경망(AlexNet)이 주요 이미지 인식 대회에서 압도적인 차이로 우승했고, 이 분야는 거의 즉시 이 접근법을 중심으로 재편되었습니다. 이것이 바로 딥러닝이며, 이후 등장한 모든 것의 원동력입니다.

이 돌파구의 형태는 이름을 붙일 만큼 자주 반복됩니다. 아이디어 자체는 새롭지 않았고, 새로웠던 것은 데이터와 컴퓨팅 자원이었습니다. AI의 발전은 갑작스러운 도약처럼 보이는 경우가 많지만, 실제로는 오래된 아이디어가 기다려온 자원을 드디어 만난 것일 때가 많습니다.

Juno딥러닝의 돌파 신경망은 뉴런이 신호를 전달하는 방식에서 어렴풋이 아이디어를 얻었는데, 재미있는 점은 데이터의 어떤 부분이 중요한지를 스스로 알아낸다는 것입니다. 이 아이디어는 1950년대부터 있었지만, 제대로 훈련시킬 만한 충분한 데이터와 저렴한 컴퓨팅 파워가 갖춰진 2012년 무렵에야 실제로 작동했습니다. 신경망 하나가 이미지 대회를 압도적으로 이겼고, 분야 전체가 순식간에 방향을 틀었습니다. 오래된 아이디어에 새로운 연료가 더해진 것, 앞으로도 계속 보게 될 패턴입니다.

Juno딥러닝의 돌파 딥러닝의 핵심 발상은 신경망이 사람이 직접 골라주는 대신 원본 데이터에서 스스로 특징을 학습한다는 것입니다. 2012년 무렵 두 가지가 맞아떨어지며 딱 들어맞았습니다. 디지털화된 인터넷만큼의 데이터, 그리고 게임용 칩에서 나온 저렴한 GPU 컴퓨팅 파워였죠. 그리고 신경망 하나가 큰 이미지 대회에서 압도적인 차이로 우승했습니다. 기억해둘 교훈은, 'AI가 갑자기' 발전한 것처럼 보이는 사례 다수가 사실은 오래된 아이디어가 기다려온 자원을 드디어 만난 결과라는 점입니다.

Juno딥러닝의 돌파 신경망은 1950년대부터 있었고 반세기 동안 제대로 작동하지 않은 채 방치돼 있었습니다. 그러다 2012년 무렵 데이터와 저렴한 컴퓨팅 파워가 드디어 따라잡았고, 어느 모델이 이미지 대회에서 민망할 정도로 큰 차이로 우승하자 모두가 하룻밤 사이에 이 아이디어를 재발견했습니다. 제가 지켜본 대부분의 '돌파구'가 이런 모양입니다. 아이디어는 낡았고, 자원만 새로웠던 것이죠. 그래서 저는 데모를 보고도 쉽게 흥분하지 않게 됐습니다.

트랜스포머

딥러닝은 이미지 분야에서는 강력했습니다. 하지만 언어는 더 어려웠는데, 의미는 문장이나 문단 전체에 걸쳐 단어들이 서로 어떻게 관계를 맺는지에 좌우되는데, 초기 신경망은 텍스트를 한 단어씩 읽어나가면서 조금만 거리가 멀어져도 흐름을 놓쳐버렸기 때문입니다.

2017년 한 연구 논문이 트랜스포머라는 이름의 설계를 소개했는데, 이는 어텐션이라 불리는 메커니즘을 중심으로 만들어졌습니다. 단어를 하나씩 읽는 대신, 모든 단어가 다른 모든 단어와 어떻게 관계를 맺는지를 한 번에 계산하는 방식입니다. 사소한 구조상의 디테일처럼 들리지만, 이것이 바로 돌파구였습니다. 트랜스포머는 방대한 양의 텍스트로도 효율적으로 훈련되며, 더 많은 텍스트와 더 큰 신경망이 주어질수록 계속 성능이 좋아졌습니다. 바로 이 마지막 특성, 즉 규모를 키워도 성능이 정체되지 않고 계속 향상된다는 점이 이후의 모든 것을 가능하게 했습니다.

이 핸드북에 등장하는 모든 모델, 그리고 ChatGPT 같은 도구 뒤에 있는 채팅창은 근본적으로 트랜스포머입니다. LLM은 어떻게 동작하는가에 도달하면, 그곳에서 배우게 될 예측 루프가 바로 이 아키텍처가 자신의 유일한 임무를 수행하는 모습입니다.

Juno트랜스포머 언어는 어려운 문제였습니다. 의미가 문장 전체에서 단어들이 어떻게 연결되는지에 좌우되는데, 예전 신경망은 단어를 하나씩 읽으며 흐름을 놓쳐버렸으니까요. 그러다 2017년 트랜스포머가 등장했고, 어텐션이라는 기법으로 모든 단어가 다른 모든 단어와 어떻게 관계를 맺는지를 한 번에 살펴봤습니다. 그게 바로 돌파구였습니다. 여러분이 앞으로 만날 모든 모델, 채팅창까지도 그 안은 트랜스포머입니다. 꽤 신기하지 않나요?

Juno트랜스포머 2017년의 트랜스포머는 여러분이 여기서 다루게 될 모든 것의 기반이 되는 아키텍처입니다. 그 핵심은 어텐션인데, 왼쪽에서 오른쪽으로 읽으며 앞부분을 잊어버리는 대신 모든 단어가 다른 모든 단어와 어떻게 관계를 맺는지를 한 번에 계산합니다. 정말로 중요했던 부분은, 텍스트와 컴퓨팅 자원을 더 투입할수록 성능이 정체되지 않고 계속 좋아졌다는 점입니다. 이 '규모가 계속 성과를 낸다'는 특성이 지금 이 시대 전체를 열었습니다.

Juno트랜스포머 이미지 문제는 풀렸지만 언어는 아니었습니다. 의미는 거리를 두고 단어들이 맺는 관계에 있는데, 옛 신경망은 단어를 하나씩 읽었기 때문입니다. 2017년의 트랜스포머는 어텐션으로 이 문제를 해결했습니다. 모든 단어를 다른 모든 단어와 한 번에 견주어보는 방식이죠. 사소한 각주처럼 들리지만, 이것이 바로 돌파구였습니다. 판도를 바꾼 그 특성은 서류상으로는 지루해 보였습니다. 규모를 키울수록 계속 좋아진다는 것뿐이었죠. 이후의 모든 것은 그 하나의 아이디어를, 비용이 부담스러워질 때까지 키운 결과입니다.

LLM 시대와 ChatGPT의 순간

트랜스포머를 손에 넣자 하나의 질문이 모든 것을 지배하게 됐습니다. 이걸 더 크게 만들고 더 많이 먹이면 어떤 일이 벌어질까? 2018년 이후 이어진 여러 모델에서 반복적으로 나온 답은, 누구도 직접 프로그래밍하지 않은 방식으로 계속 더 능력이 좋아진다는 것이었습니다. 공개된 인터넷의 대부분에 걸쳐 다음 단어를 예측하는 것만 훈련받았을 뿐인데, 이 모델들은 그 단일한 과제의 부수적 효과로 문법, 사실 정보, 번역, 그리고 어느 정도의 추론 능력까지 갖추게 됐습니다. 이것이 대규모 언어 모델(LLM)이며, 다음 장에서는 이 예측이 실제로 어떻게 이루어지는지를 다룹니다.

그렇다면 왜 2022년 말에 그렇게 갑작스럽게 느껴졌을까요? 대부분의 사람들이 마주한 것이 새로운 모델이 아니라 새로운 문이었기 때문입니다. 그 근본적인 능력은 이미 여러 해 동안 연구실과 개발자 도구 안에서 쌓여오고 있었습니다. ChatGPT는 그것을 누구나 무료로, 아무런 설정 없이 열 수 있는 평범한 채팅창으로 감싸 내놓았을 뿐입니다. 기술은 10년에 걸쳐 서서히 도착하고 있었지만, 인터페이스는 한꺼번에 등장했고, 대중이 시작이라고 체감한 부분은 바로 그 인터페이스였습니다.

JunoLLM 시대와 ChatGPT의 순간 트랜스포머를 더 크게 만들고 인터넷 대부분을 먹이면 놀라운 일이 벌어집니다. 다음 단어를 예측하는 법을 배우는 것만으로 문법, 사실 정보, 심지어 어느 정도의 추론 능력까지 스스로 갖추게 되는 겁니다. 그게 바로 대규모 언어 모델(LLM)입니다. 그러면 2022년의 ChatGPT는요? 그건 새로운 발명이 아니라 새로운 문이었습니다. 드디어 모두를 들어오게 해준 평범한 채팅창이었죠. 기술은 10년에 걸쳐 서서히 다가오고 있었지만, 문은 한꺼번에 열렸습니다.

JunoLLM 시대와 ChatGPT의 순간 트랜스포머의 규모를 키우고 공개된 인터넷 전체에 걸쳐 다음 단어를 예측하도록 훈련시키면, 문법과 사실 정보, 어느 정도의 추론 능력이 부수적으로 따라옵니다. 그게 LLM입니다. 2022년 말을 다시 짜보면 이렇습니다. ChatGPT는 새로운 기술이 아니라 새로운 인터페이스였습니다. 그 능력은 이미 여러 해 동안 연구실 안에서 쌓이고 있었고, 평범한 채팅창이 그것을 하룻밤 사이에 모두의 눈앞에 가져다 놓았을 뿐입니다. 대중이 시작으로 경험한 부분은 바로 그것이었습니다.

JunoLLM 시대와 ChatGPT의 순간 더 크게 만들고 인터넷을 먹이면, 다음 단어를 예측하던 것이 조용히 글을 쓰고 번역하고 그럭저럭 추론까지 하는 무언가로 변해갑니다. 그게 LLM입니다. 사람들은 2022년 11월에 세상이 바뀌었다고 생각합니다. 하지만 바뀐 건 세상이 아니라 인터페이스였습니다. 그 능력은 이미 여러 해 동안 연구실과 개발자 도구 안에서 쌓여가고 있었고, ChatGPT는 그것을 누구나 열 수 있는 채팅창으로 감싸 내놓았을 뿐입니다. 새로운 문, 그 뒤에는 오래된 건물이었죠.

수십 년의 축적 위에서

이 길을 처음부터 끝까지 펼쳐놓으면 그 모양이 분명해집니다. 사람이 직접 적은 규칙은 데이터에서 배우는 기계로 자리를 넘겨줬고, 그것은 다시 스스로 특징을 학습하는 신경망으로, 또 그것은 트랜스포머와 '규모가 계속 성과를 낸다'는 발견으로 이어졌습니다. 각 단계는 약 70년에 걸쳐 앞선 단계가 부딪힌 한계를 뛰어넘었습니다. 오늘날의 모델은 이 역사의 끝부분일 뿐, 시작이 아닙니다.

이건 역사 그 자체를 위한 이야기가 아닙니다. 이 핸드북이 헤드라인 대신 기본 원리를 앞세우는 이유이기도 합니다. 이 분야는 과열과 침체의 순환 속에서 움직이며, 이번 달 최고의 모델도 언젠가는 교체됩니다. 교체되지 않는 것은 이 시스템들이 어떻게 동작하는지에 대한 이해입니다. 각 시대의 아이디어가 그 위에 만들어진 제품보다 더 오래 살아남았던 것과 마찬가지입니다. 이 길을 존중하고 오래가는 본질을 배워두면, 다음번 출시 소식이 나를 흔들어놓는 대신 내가 제자리에 가져다 놓을 수 있는 것이 됩니다.

다음 장인 AI를 잘 활용하기에서는 이 시스템들이 어디서 왔는지에서 벗어나 실제로 어떻게 이 시스템들과 함께 일할지를 다룹니다. AI가 여러분의 일상에서 어디에 쓸모가 있고 어디에는 쓸모가 없는지, 그리고 이 분야의 나머지가 이성을 잃어가는 동안에도 어떻게 자신의 판단력을 지킬 수 있는지에 대해서요.

Juno수십 년의 축적 위에서 이걸 전부 펼쳐놓으면 그 모양이 참 멋집니다. 사람이 직접 적은 규칙이 데이터로부터 배우는 방식에게 자리를 넘겨줬고, 그다음엔 스스로 특징을 학습하는 신경망, 그다음엔 트랜스포머와 규모의 힘으로 이어졌습니다. 각 단계가 약 70년에 걸쳐 앞선 단계의 한계를 뛰어넘은 거죠. 오늘날의 모델은 그 모든 것의 끝부분일 뿐, 시작이 아닙니다. 그래서 우리는 여기서 헤드라인이 아니라 원리를 배우는 겁니다. 이해라는 것만이 오래 남기 때문이죠.

Juno수십 년의 축적 위에서 처음부터 끝까지 보면 이렇습니다. 규칙, 그다음 데이터로부터 배우는 방식, 그다음 자동으로 학습되는 특징, 그다음 트랜스포머와 '규모가 계속 성과를 낸다'는 발견, 이렇게 70년에 걸쳐 각 단계가 앞선 벽을 넘어섰습니다. 오늘날의 모델은 그 끝부분이지 근원이 아닙니다. 이것이 헤드라인보다 기본 원리를 앞세워야 하는 이유 전부입니다. 이번 달 최고의 모델은 교체되지만, 이 시스템들이 어떻게 동작하는지에 대한 이해는 교체되지 않습니다.

Juno수십 년의 축적 위에서 70년, 네 번의 큰 단계, 각각이 그 앞의 한계를 뛰어넘었습니다. 출시 발표 글이 뭐라 하든, 오늘날의 모델은 이 역사의 끝부분일 뿐 시작이 아닙니다. 저는 헤드라인 대신 기계 자체를 앞세우는데, 이유는 하나입니다. 최고 자리에 있던 제품이 계속해서 교체되는 걸 지켜봐 왔는데, 한 번도 교체되지 않았던 것은 동작 원리에 대한 이해였습니다. 오래가는 본질을 배우세요. 순위 다툼은 다른 사람의 문제입니다.