The AI Engineer PathAI 简史
ChatGPT 在 2022 年底出现时，感觉 AI 就像是一夜之间冒出来的。前一周几乎没人用日常语言跟电脑对话，下一周所有人都在这么做。这个说法很吸引人，但也在一个要命的地方错了：它把这些系统真正的来路给遮住了。
聊天框是新的。它背后的科学并不新。你现在用的这些东西，只是大约七十年积累的冰山一角，是一层叠一层的想法，每一层都突破了上一层碰到的天花板。了解这条路不是什么无关紧要的冷知识。它能告诉你这个领域里哪些东西是经得起时间的，哪些只是一时风潮——这正是"追每一条新闻标题"和"真正理解自己在用什么"之间的区别。
把规则一条条告诉电脑
这个领域是有生日的。1956 年，一小群研究者在达特茅斯学院开了一场如今已经很出名的暑期研讨会，给这个想法起了名字：人工智能。而更早一些，1950 年，艾伦·图灵——这位帮助发明了计算机本身的英国数学家——就已经提出了一个至今仍悬在这个领域头顶的问题：机器能不能让你相信它真的在思考（这个想法后来被称为图灵测试）。
第一个答案延续了几十年，靠的是一个听起来很合理的想法：如果你想让电脑表现得智能，那就把智能的规则一条条手写下来。专家们把自己的知识写成一长串"如果这样，那就那样"的规则，运行这些规则的程序被称为专家系统。对于范围狭窄、界限清晰的问题——比如诊断某种特定疾病，或者按订单配置一台机器——这套方法是管用的。
但接下来它们撞上了一堵墙，而这堵墙正是那个时代给我们的教训。现实世界的规则太多了，多到大部分根本没人能说清楚。你一眼就能分清猫和狗，但要你写出区分它们的确切规则，你会忙活一整个星期，还是会漏掉一堆情况。手写知识没法应付现实世界的这种混乱，而下一个想法，正是为了突破这个天花板而生的。
让它们自己去学
如果规则写不出来，那另一个办法就是让机器自己去找规律。你不再告诉电脑怎么区分猫和狗，而是给它看几千个打好标签的例子，让它自己去摸索规律。这就是机器学习，它把整个流程翻了个面：你不再编程给出答案，而是提供数据，让程序自己去推出规则。
这条路走得并不顺。这个领域两次许下了远超自己能力的承诺，结果资金枯竭，进展一停就是好几年。这两段时期后来被称为AI 寒冬，它们是这段历史给出的最尖锐的警告。AI 之前不止一次被过度炒作，而每一轮炒作当时看起来都跟这一轮一样确定无疑。最终真正带来突破的技术，往往并不是当时喊得最响的那个。
深度学习的突破
早期的机器学习仍然要靠人来挑选数据里哪些特征重要，这其实是手写规则那个问题的一个小型翻版。真正的突破来自一个老想法，终于等到了它需要的东西：神经网络——大致受大脑神经元传递信号方式的启发，能直接从原始数据里学出自己的特征。
这个想法从上世纪 50 年代就已经存在，但一直没能真正跑起来。2012 年前后，两件事发生了变化。一是数字化的互联网带来了突然充足的数据，二是为电子游戏设计的图形芯片提供了廉价的算力，这两者加在一起，终于能把这些网络训练到足够大、真正见效的规模。一个叫AlexNet的神经网络以巨大优势赢得了一场重要的图像识别比赛，整个领域几乎立刻转向了这条路线。这就是深度学习，也是后来一切成果背后的引擎。
这次突破的形态后来反复出现，值得单独说一说：想法本身并不新，新的是数据和算力。很多看起来"突然出现"的 AI 进展，实际上都是一个老想法终于等到了它一直缺的资源。
Transformer
深度学习在图像上表现强劲。语言则难得多，因为意义取决于词与词在整句甚至整段文字里的相互关系，而早期的网络是一个词一个词地读文本，一旦跨度稍大，就跟不上上下文了。
2017 年，一篇研究论文提出了一种叫作 transformer 的架构，核心是一种叫作注意力（attention）的机制：它不再逐词阅读，而是一次性权衡每个词与其他所有词之间的关系。这听起来像是个不起眼的架构细节。但它正是那个突破口。transformer 能高效地在海量文本上训练，而且给它的文本越多、网络越大，效果就越好。最后这一点——规模的提升一直在带来回报，而不是很快就见顶——正是此后一切的起点。
这本手册里的每一个模型，以及像 ChatGPT 这类工具背后的聊天框，本质上都是一个 transformer。当你读到LLM 是如何工作的那一章时，你会学到的那个预测循环，正是这套架构在做它唯一要做的事。
LLM 时代与 ChatGPT 那一刻
有了 transformer，一个问题开始主导一切：如果把它做得更大、喂给它更多数据，会发生什么？从 2018 年起的一系列模型给出的答案是：它会持续变得更强，而且是以没有人手动编程过的方式变强。这些模型被训练的唯一任务，是在几乎整个公开互联网的文本上预测下一个词，而语法、事实性知识、翻译能力，甚至一种粗糙的推理能力，都是这一个任务的副产品，自己冒出来的。这些就是大语言模型（LLM），下一章会讲这种预测到底是怎么运作的。
那为什么在 2022 年底会感觉这一切来得那么突然？因为大多数人碰到的，其实不是一个新模型，而是一扇新打开的门。底层的能力已经在研究实验室和开发者工具里积累了好多年。ChatGPT 只是把它包进了一个谁都能打开的、免费、不需要任何设置的普通聊天框里。这项技术其实已经悄悄到来了十年，只有那扇门是一下子打开的——而公众亲身经历的，正是这扇门打开的那一刻，所以感觉像是一切的起点。
站在几十年的积累之上
把这条路完整铺开来看，形态就清楚了：手写规则让位给了从数据中学习的机器，这又让位给了能学出自己特征的网络，再让位给了 transformer，以及"规模的投入一直有回报"这个发现。每一步都突破了前一步碰到的天花板，跨越了大约七十年。今天的模型只是这段历史的冰山一角，不是起点。
这不是为了讲历史而讲历史。正是因为这样，这本手册才选择从基础知识讲起，而不是从热点新闻讲起。这个领域一直在炒作和寒冬之间循环，这个月站在顶端的模型迟早会被取代。不会被取代的，是对这些系统运作方式的理解——就像每个时代留下的想法，都活得比建立在它之上的那些产品更久。尊重这条路，学会那些经得起时间的东西，下一次新品发布，就会变成你能看懂、能定位的东西，而不是一下子把你冲垮的东西。
下一章，好好使用 AI，会从"这些系统从哪里来"转向"到底该怎么跟它们打交道"：AI 在你的日常里哪些地方值得用、哪些地方不该用，以及当整个领域都变得亢奋时，你要怎么保持自己的判断力。