AI の簡潔な歴史
2022 年の終わりに ChatGPT が登場した時、AI が一夜にして現れたかのように感じられました。ある週はほぼ誰もがコンピュータと自然言語で会話していなかったのに、翌週には誰もがそうしていました。それは魅力的なストーリーですが、同時に重要な意味で間違っています。なぜなら、これらのシステムがどこから来たのかを隠してしまうからです。
チャットボックスは新しいものでした。その下の科学は新しくありません。あなたが使用しているのは、約 70 年間の仕事の見える先端であり、考え方の積み重ねで、各ステップが前のステップが到達した天井を打ち破ってきました。その道を知ることはトリビアではありません。この分野のどの部分が耐久性があり、どの部分が流行なのかを示してくれます。これは、すべてのヘッドラインを追うことと、あなたが構築しているものを理解することの違いです。
コンピュータにルールを教える
この分野には誕生日があります。1956 年に、ダートマス大学で研究者の小グループがかの有名な夏のワークショップに集まり、この考えに名前をつけました。人工知能です。数年前の 1950 年に、コンピューティング自体の発明を支援した英国の数学者アラン・チューリングは、この分野にまだ重くのしかかっている質問を提起していました。機械があなたを思考していると確信させることができるかどうかです。この考えは現在チューリング・テストとして知られています。
最初の答えは数十年間続き、分別のある考え方に基づいていました。コンピュータに知的に行動させたいなら、手で知能のルールを書き出しましょう。専門家は「このような場合はあのようにする」という長いリストで知識を説明し、それらを実行するプログラムはエキスパートシステムと呼ばれていました。特定の病気の診断や機械の設定など、狭くて整理された問題では、うまく機能しました。
その後、彼らは壁にぶつかりました。その壁がこの時代の教訓です。現実世界には多くのルールがあり、ほとんどの場合、誰も述べることができません。猫と犬を一瞬で区別できますが、それらを分ける正確なルールを書き出そうとすると、1 週間かけても案件を見落とします。手でコードされた知識は、現実の混乱にはスケールしません。その天井を打ち破ることが、次の考え方の目的でした。
代わりにそれらに学習させる
ルールを書き出すことができない場合、代替案は機械にそれらを見つけさせることです。コンピュータに猫と犬を見分ける方法を教える代わりに、ラベル付きの例を何千も見せて、パターン自体を解き出させます。これは機械学習であり、仕事を反転させます。プログラミングの答えを止めて、データの供給を始め、その後プログラムに規則を推測させます。
そこへの道は滑らかではありませんでした。この分野は 2 度、できるよりもはるかに多くを約束し、資金が枯れて、長期間にわたって進捗が停止しました。これらの期間はAI の冬として覚えられています。これは歴史が提供する最も鋭い警告です。AI は以前、何度もハイプされており、各サイクルはこれと同じくらい確実に感じられました。最終的に支払われた技術は、当時最も大きな約束をしていたものはめったにありませんでした。
ディープラーニングが突破口を開く
初期の機械学習は、依然としてデータのどの特徴が重要かを手で選ぶ人々に依存していました。これは独自の手コーディング問題の小さなバージョンです。ブレークスルーは、古い考えがついに必要なものを与えられました:脳細胞がシグナルをどのように渡すかに大まかに触発されたニューラルネットワーク。これは生データから独自の特徴を学びます。
その考え方は 1950 年代から存在していましたが、十分にうまく機能したことはありませんでした。2012 年頃、2 つのことが変わりました。デジタル化されたインターネットから突然十分なデータがあり、ビデオゲーム用に構築されたグラフィックスチップからの安い計算能力が、支払った規模でこれらのネットワークをトレーニングするのに十分でした。ニューラルネットワーク(AlexNet)が主要な画像認識コンテストに大きな差で勝ちました。この分野はほぼ一度にアプローチの周りに再編成されました。これはディープラーニング、それ以降のすべてのエンジンです。
そのブレークスルーの形状は、十分に繰り返されて名前を付けることができます。考えは新しくはなく、データと計算がありました。多くの AI の進歩は突然の飛躍のように見え、古い考えが待っていた資源に実は出会っています。
トランスフォーマー
ディープラーニングは画像に対して強力でした。言語はより難しかったです。意味は、単語がどのように文全体または段落を関連して、そして以前のネットワークがテキストを 1 語ずつ読み、任意の距離に対してスレッドを失いました。
2017 年に研究論文は、トランスフォーマーと呼ばれるデザインを導入しました。アテンション と呼ばれるメカニズムの周りに構築されています。1 語ずつ読む代わりに、すべての単語がすべての他の単語に同時に関連する方法を重く見ます。小さなアーキテクチャの詳細のように聞こえます。それはロック解除でした。トランスフォーマーは大量のテキストで効率的にトレーニングし、より多くのテキストとより大きなネットワークが与えられるにつれて改善されました。その最後のプロパティ、スケールが支払われ続け、平坦化されないというプロパティは、それ以降のすべてをセットアップしました。
このハンドブックのすべてのモデルと ChatGPT のようなツールの背後にあるチャットボックスは、本質的にトランスフォーマーです。LLMs がどのように機能するかに到達すると、そこで学ぶ予測ループは、このアーキテクチャがその 1 つの仕事をしています。
LLM の時代と ChatGPT の瞬間
トランスフォーマーの手に、1 つの質問が引き継ぎました。より大きくしてより多くのフィードを与えた場合はどうなりますか?答え、2018 年以降の一連のモデルで繰り返された、それは誰も手でプログラムしていなかった方法でより多くの能力のある方法で成長し続けたということでした。ほとんどのパブリックインターネット全体で次の単語を予測することだけをトレーニングしたこれらのモデルは、文法、事実、翻訳、および単一タスクの副作用として大まかな種類の推論を拾いました。これらは大規模言語モデルであり、次の章は、その予測がどのように実際に機能するかについてです。
それが 2022 年後半に突然に感じられたのはなぜですか?ほとんどの人が出会ったのは新しいモデルではなく、新しいドアだったからです。基本的な能力は、研究所と開発者ツール内で何年も建設されていました。ChatGPT はそれを誰もが開くことができるプレーンなチャットボックスに、無料で、セットアップなしで包装しました。技術は 1 decade 到着していた。インターフェースは一度にすべて到着しました。そしてそれは公共が始まりとして住んでいた部分です。
数十年に立つ
道を終わりから終わりまで敷いて、形状は明確です。手で書かれたルールはデータから学ぶ機械に譲り、これは独自の特徴を学ぶネットワークに譲りました。これはトランスフォーマーに譲り、スケールが支払い続けるという発見に譲りました。各ステップは、約 70 年間、前のステップがヒットした天井を破りました。今日のモデルはその歴史のヒントで、スタートではありません。
これは独自の理由のための歴史の教訓ではありません。これは、このハンドブックが見出しの代わりに基礎で始まる理由です。この分野は誇大宣伝と冬のサイクルで移動し、この月の上にあるモデルが置き換えられます。置き換えられないのは、これらのシステムがどのように機能するかの理解です。各時代からのアイデアが構築されたプロダクトより長く生き残った方法と同じです。道を尊重し、耐久層を学び、次の打ち上げは、あなたをノックオーバーするのではなく、何かを配置できる何かになります。
次の章,AI をうまく使用するは、これらのシステムがどこから来たかから、実際に実際に機能する方法に変わります。AI があなたの日に場所を稼ぐ場所、それが存在しない場所、そしてフィールドの残りが頭を失っている間あなたの判断を保つ方法。