LLMの仕組みと歴史
そもそもLLMとは何か
LLM(Large Language Model、大規模言語モデル)とは、大量のテキストデータから「言葉のパターン」を学習し、次に来る単語を予測することで文章を生成するAIである。ChatGPTやClaudeの中身がこれにあたる。仕組みの核心は驚くほどシンプルで、「与えられた文章の続きとして、最も確率が高い単語は何か」をひたすら計算しているだけである。
歴史の出発点:脳を数式にする(1943年)
始まりは神経生理学者マカロックと論理学者ピッツによる、人工ニューロンのモデルである。脳の神経細胞を、0か1を出力する単純な論理素子として捉えた。複数の入力(興奮性・抑制性)を受け取り、閾値を超えれば発火(1)、超えなければ発火しない(0)というだけの仕組みだが、これによって脳の働きを数学・論理で記述できることが初めて示された。ただしこのモデルには学習機能がなく、重みは固定だった。
学習するニューロン:パーセプトロン(1958年)
ローゼンブラットが、このモデルに「学習」を組み込んだ。入力に重みを掛けて合計し、閾値で判定するのは同じだが、正解データと比較しながら重みを自動調整できるようにした。これが最初期の機械学習モデルである。しかし1969年、ミンスキーとパパートが、単純なパーセプトロンではXOR問題(線形分離不可能な問題)を解けないと証明し、AI研究は一時停滞する(いわゆる「AIの冬」)。
統計から言葉を予測する発想(1948年)
並行して、クロード・シャノンが情報理論を打ち立て、文字や単語の出現確率から次に来るものを予測するという統計的言語モデルの原型を示した。「大量のテキストから統計的に自然な文章を生成する」という、LLMの根本的な発想はここに起源がある。
多層化と逆伝播で復活(1980年代)
パーセプトロンを何層にも重ねた「多層ニューラルネットワーク」と、誤差逆伝播法(バックプロパゲーション)という学習アルゴリズムが1986年頃に普及し、複雑な問題も学習できるようになった。ここからニューラルネットワークは着実に進化していく。
決定打:Transformer(2017年)
Google の研究者たちが発表した論文「Attention Is All You Need」が転換点である。それまでの言語モデル(RNNなど)は文章を先頭から順番に処理する必要があり、長い文章では前の方の情報を忘れやすいという弱点があった。Transformerは「Attention(注意機構)」という仕組みを使い、文章中のすべての単語を同時に見比べて、どの単語同士が関係し合っているかを直接計算できるようにした。これにより並列処理が可能になり、圧倒的に大きなデータ・モデルサイズでの学習が現実的になった。
大規模化とLLMの誕生(2018年〜)
Transformerをベースに、インターネット上の膨大なテキストで事前学習させたモデルが次々登場する。GPT、BERT、そして後のGPT-3・GPT-4、Claudeなどである。パラメータ数(モデルの重みの数)が数十億〜数千億という規模になり、「次の単語を予測する」という単純なタスクを極めて大量のデータで訓練するだけで、翻訳・要約・推論・会話といった多様な能力が自然と創発することがわかってきた。
まとめの流れ
1943年 マカロック&ピッツ(固定の論理素子) → 1948年 シャノン(統計的言語予測の発想) → 1958年 パーセプトロン(学習できる素子) → 1986年頃 多層ネットワーク+逆伝播(複雑な学習が可能に) → 2017年 Transformer(長い文脈を並列処理) → 2018年〜 大規模事前学習によるLLMの誕生
つまりLLMとは、80年近くかけて積み重ねられた「脳を数式にする」「統計で言葉を予測する」「学習する仕組みを作る」「大規模に並列処理する」という4つの流れが合流した結果、生まれたものである。