AI의 짧은 역사
ChatGPT가 2022년 말에 나타났을 때, AI가 하루아침에 생겨난 것처럼 느껴졌습니다. 한 주만 해도 아무도 평문으로 컴퓨터와 대화하지 않았는데, 그 다음 주에는 모두가 그렇게 하고 있었습니다. 매력적인 이야기이지만, 중요한 측면에서 잘못된 것입니다. 왜냐하면 이 시스템들이 어디서 나왔는지를 숨기기 때문입니다.
채팅 상자는 새로웠습니다. 그 아래의 과학은 그렇지 않았습니다. 여러분이 사용하고 있는 것은 약 70년의 작업이 쌓인 가시적인 꼭짓점으로, 각각의 아이디어가 그 전의 것이 막혔던 천장을 부수어 나간 아이디어의 스택입니다. 그 길을 아는 것은 잡학이 아닙니다. 이 분야의 어느 부분이 지속 가능한지, 어느 부분이 유행인지를 알려주며, 이는 모든 헤드라인을 쫓는 것과 자신이 만드는 것을 이해하는 것의 차이입니다.
컴퓨터에 규칙을 가르치기
이 분야는 생일을 가지고 있습니다. 1956년 다트머스 칼리지에서 작은 규모의 연구자 그룹이 유명한 여름 워크숍을 개최했고 이 아이디어에 인공지능이라는 이름을 붙였습니다. 몇 년 앞서 1950년에 앨런 튜링, 컴퓨팅 자체를 발명하는 것을 도왔던 영국 수학자는 이미 이 분야에 여전히 맴돌고 있는 질문을 제기했습니다. 기계가 생각하고 있다고 당신을 확신시킬 수 있는가 하는 것인데, 이는 지금 튜링 테스트로 알려져 있습니다.
첫 번째 대답은 수십 년 동안 이루어졌으며 그럴듯하게 들리는 아이디어에 기반했습니다. 컴퓨터가 지능적으로 행동하게 하려면 손으로 지능의 규칙을 적어두세요. 전문가들은 긴 if-then 목록으로 자신의 지식을 설명했으며, 이를 실행하는 프로그램들은 전문가 시스템이라고 불렸습니다. 특정 종류의 질병을 진단하거나 주문에 따라 기계를 구성하는 것처럼 좁고 깔끔한 문제의 경우 작동했습니다.
그러면 그들은 벽에 부딪혔고, 그 벽이 그 시대의 교훈입니다. 현실 세계는 규칙이 너무 많으며, 대부분의 규칙은 아무도 말할 수 없습니다. 고양이와 개를 즉시 구분할 수 있지만, 그들을 구분하는 정확한 규칙을 적어보면 일주일을 소비할 것이며 여전히 경우를 놓칠 것입니다. 손으로 코딩한 지식은 현실의 혼란으로 확장되지 않으며, 그 천장을 부수는 것이 다음 아이디어의 목적입니다.
대신 학습하게 하기
규칙을 작성할 수 없다면, 대안은 기계가 규칙을 찾도록 하는 것입니다. 컴퓨터에 고양이와 개를 구분하는 방법을 말하는 대신, 수천 개의 레이블이 붙은 예를 보여주고 패턴을 스스로 알아내도록 합니다. 이것이 기계학습이며, 작업을 뒤집습니다. 프로그래밍 답변을 멈추고 데이터를 공급하기 시작한 후 프로그램이 규칙을 추론하도록 합니다.
거기까지의 경로는 부드럽지 않았습니다. 두 번 분야가 할 수 있는 것보다 훨씬 더 많은 것을 약속했고, 돈이 마말랐으며, 진행이 한 번에 수년 동안 정체했습니다. 그런 정체 기간들은 AI 겨울로 기억되며, 역사가 제공하는 가장 날카로운 경고입니다. AI는 이전에 과대광고되었으며, 한 번 이상 각 사이클이 이 사이클처럼 확실하게 느껴졌습니다. 결국 성공한 기술은 당시에 가장 큰 약속을 하고 있던 것과는 거의 같지 않았습니다.
딥러닝의 돌파
초기 기계학습은 여전히 사람들이 손으로 데이터의 어느 특징이 중요한지를 선택하는 것에 의존했으며, 이는 손으로 코딩하는 문제의 자체 더 작은 버전이었습니다. 돌파구는 오래된 아이디어가 마침내 필요한 것을 얻음으로써 나왔습니다. 신경망, 뇌 세포가 신호를 전달하는 방식으로 느슨하게 영감을 받아서, 원본 데이터에서 직접 자신의 특징을 학습합니다.
그 아이디어는 1950년대부터 있었으며 결코 충분히 잘 작동한 적이 없었습니다. 2012년 경에 두 가지가 변했습니다. 디지털화된 인터넷에서 갑자기 충분한 데이터가 있었고, 비디오 게임을 위해 만들어진 그래픽 칩에서 나온 저렴한 컴퓨팅 성능이 충분했으며, 이 네트워크들을 성공한 규모로 훈련할 수 있었습니다. 신경망 (AlexNet)은 주요 이미지 인식 경쟁에서 큰 차이로 우승했고, 분야가 거의 즉시 접근 방식을 중심으로 재편성했습니다. 이것이 딥러닝이며, 그 이후 모든 것의 엔진입니다.
그 돌파의 모양은 충분히 자주 반복되어 이름을 지을 수 있습니다. 아이디어는 새로운 것이 아니었고, 데이터와 컴퓨팅이었습니다. 많은 AI 진전이 갑작스러운 도약처럼 보이지만, 실제로는 기다리고 있던 자원을 만난 오래된 아이디어입니다.
트랜스포머
딥러닝은 이미지에서 강했습니다. 언어는 더 어려웠는데, 의미가 전체 문장이나 단락에 걸쳐 단어들이 어떻게 관련되는지에 달려 있으며, 이전 네트워크들은 한 번에 한 단어씩 텍스트를 읽고 거리에 따라 스레드를 잃었기 때문입니다.
2017년에 한 연구 논문은 어텐션이라 불리는 메커니즘을 중심으로 만들어진 트랜스포머라는 설계를 소개했습니다. 한 번에 한 단어씩 읽는 대신, 모든 단어가 모든 다른 단어와 어떻게 관련되는지를 동시에 가중치를 줍니다. 그것은 작은 건축 디테일처럼 들립니다. 그것이 해제였습니다. 트랜스포머는 엄청난 양의 텍스트에서 효율적으로 훈련되며, 그것은 더 많은 텍스트와 더 큰 네트워크가 주어지면 계속 개선되었습니다. 그 마지막 속성, 그 규모가 계속 지불하는 대신 평평해지는 것은 그 이후 모든 것을 설정했습니다.
이 핸드북의 모든 모델과 ChatGPT 같은 도구 뒤에 있는 채팅 상자는 중심부에 트랜스포머입니다. 당신이 LLM이 어떻게 작동하는지에 도달할 때, 거기서 배우는 예측 루프는 이 아키텍처가 그 일을 하고 있습니다.
LLM 시대와 ChatGPT 순간
손에 트랜스포머를 들고, 한 가지 질문이 차지했습니다. 더 크고 더 많은 것을 먹이면 어떻게 될까요? 대답, 2018년부터 일련의 모델에 걸쳐 반복된, 손으로 프로그래밍한 방식으로는 아무도 하지 않은 방식으로 더 유능해지는 것입니다. 대부분의 공개 인터넷에 걸쳐 다음 단어를 예측하는 것 외에 아무것도 하지 않도록 훈련된, 이 모델들은 문법, 사실, 번역, 그리고 그 단일 작업의 부작용으로 거친 종류의 추론을 습득했습니다. 이것이 대형 언어 모델이며, 다음 장에서는 그 예측이 실제로 어떻게 작동하는지에 관한 것입니다.
그래서 왜 2022년 말에 갑작스럽게 느껴졌을까요? 대부분의 사람들이 만난 것이 새로운 모델이 아니었기 때문입니다. 새로운 문이었습니다. 기저의 능력은 몇 년 동안 연구실과 개발자 도구 내에서 구축되어 왔습니다. ChatGPT는 그것을 모두가 열 수 있는 평문 채팅 상자에 감싸서 무료로, 설정 없이. 기술은 십년 동안 도착하고 있었습니다. 인터페이스는 한 번에 모두 도착했고, 그것이 공중이 시작으로 경험한 부분입니다.
수십 년에 서 있기
길을 끝에서 끝까지 놓으면 모양이 명확합니다. 손으로 쓴 규칙은 데이터에서 배우는 기계로 양보했고, 이는 자신의 특징을 배우는 네트워크로 양보했으며, 이는 트랜스포머와 규모가 계속 지불되는 발견으로 양보했습니다. 각 단계는 그 전의 단계가 막혔던 천장을 부수었으며, 약 70년에 걸쳐 있었습니다. 오늘날의 모델은 그 역사의 꼭짓점이지, 시작이 아닙니다.
이것은 그 자체로 역사 수업이 아닙니다. 이 핸드북이 헤드라인 대신 기초로 시작하는 이유입니다. 분야는 과대광고와 겨울의 사이클에서 움직이며, 이 달 위의 모델은 교체될 것입니다. 교체되지 않는 것은 이 시스템들이 어떻게 작동하는지의 이해이며, 각 시대의 아이디어가 그 위에 만들어진 제품들보다 오래 존재했던 방식과 같습니다. 길을 존중하고, 지속 가능한 계층을 배우고, 다음 출시는 당신을 넘어뜨리는 대신 무언가를 배치할 수 있는 무언가가 됩니다.
다음 장, AI를 잘 사용하기는 이 시스템들이 어디서 나왔는지에서 실제로 그들과 함께 일하는 방법으로 돌아섭니다. AI가 당신의 날에 자리를 얻는 곳, 그렇지 않은 곳, 그리고 나머지 분야가 머리를 잃는 동안 당신의 판단을 유지하는 방법입니다.