LLM の仕組み、のぞいてみる

次の単語をあてる

LLM は文章を作るとき、次に来そうな単語を確率で予測して、その中から 1 つを選ぶ ― この作業をひたすら繰り返しています。 ここでは、用意した見本文を 1 語ずつ組み立てながら、各時点で LLM が考えている候補を覗いてみましょう。 候補の行をクリックすると、その単語を選んで道を分岐できます。

言葉を分解する

LLM は文章を文字や単語ではなく 「トークン」 という単位で扱います。 同じ意味の文でも、日本語と英語では切れ方や数がずいぶん違います。 トークン＝ LLM が文章を区切る最小単位。各トークンには固有の番号(ID)が割り振られている。

意味の地図

LLM は言葉を 「数のかたまり(ベクトル)」 として扱います。 近い場所にある言葉ほど、LLM にとって意味が似ています。 単語をタップしてみると、意味の近い言葉が浮かび上がります。 下の「文脈を足す」で語を追加すると、地図全体が文脈に引き寄せられて変形します(文脈に応じて意味が動くイメージ)。

単語をタップ／ホバーすると、意味の近い 3 語が線でつながります。

両側から考える

タブ1のモデルは 左から右へ「次の単語」を予測します。 一方、BERT のようなモデルは 文の両側を同時に 見て、真ん中の穴に何が入るかを当てます。 同じ穴でも、見える範囲が広いほど候補は 鋭く絞られる ― それを比べてみましょう。 ○○ の部分が「マスク(穴)」です。左/両側、それぞれの予測分布を並べて表示します。