Deep Black BoxAIのブラックボックスを、1問ずつ開けて手で動かす。全21問。
Question 14

2つの語を、同時に見る

緑の4語に札があります（問13 と同じ向きです）。 「新聞が」が探しものを出し、札と向きを比べます。
目標 ── 2段あります

前半　1本で、低いほうを いちばん高く してください （0.250 まで上がります）

後半　2本にして、コーヒー と 新聞 を どちらも 半分より上 に

どちらも この問題で そう置いた値です。 後半の「半分より上」は 問13 と同じ物差しです。
探しものは何本でも並べられます。その1本を ヘッド と呼びます（原論文は8本）。
札（黒）と探しもの1（赤）
1本目の取り分（4つを足すと 1）
札（黒）と探しもの2（赤）
2本目の取り分（4つを足すと 1）
↓　その重みで中身を混ぜた結果 ＝ 次の1語
本物は、注目のあとに もう1段（掛けて足す）があって、そこで「両方そろったこと」を見ています （問1・下の締めの図の④）。この問題では、その1段を省いて 直接3本目の棒を出しています。 3本目の点数は2つの取り分を掛けた値から作ってあり、 低いほうが 0.500 を超えたときだけ、3本目がいちばん高くなります。
0.250 が1本の限界です。どの語も選んでいない ── 4語を平等に見た状態です。
取り分の合計は 1 なので、2つの語が どちらも半分を超えることは、 札をどこに置いても起こりません。 14,801通り 全部 数えて 0通りでした。
2語を同時に狙おうとすると、何も選ばないのが最善になってしまうのです。
ここから ずっと上に戻ってください。［1本目の枠］のいちばん上に ［探しもの 2本］のボタンがあります。 それを押して、コーヒーと新聞を どちらも 半分より上にしてください。
この問で覚えること
ここでやったのは マルチヘッド注意（Multi-Head Attention）です。 1本の注目は「重みつきの平均」なので、 2つの語を同時に強く見られません。だから本数を増やします。 増えたのは能力ではなく本数です。
1本では、2つの語のどちらも 半分（0.500）を超えられません。 札をどこに置いても起こりません（すべて数えて 0通り）。
帯が1本なので、取り合いになる
探しもの 1本（ヘッド1本） 1本目 コーヒー 0.511 新聞 0.081 机 0.204 手 0.204 探しもの 2本（ヘッド2本） 1本目 コーヒー 0.511 2本目 新聞 0.511
帯は長さ 1 で固定。「コーヒー」を 0.511 に上げた分、「新聞」は 0.081 に落ちます。 2本目で新聞を狙えば、そちらで 0.511 を採れます。
原典
単一ヘッドでは平均化がこれを阻害する　Fig.4 の対象語は 'its'。head 5 が 'Law'、 head 6 が 'application' を見ています ── 2ヘッドの分業です。 Isolated attentions from just the word 'its'
2本のときは、その語を【よく見ているほうの本】の数字を採ります。 本物は、2本の答えを並べて次の段へ渡します（Concat して掛けて足す）。 この問題では、よく見ているほうを採る形にしています。 どちらも「2本ぶんの情報が残る」という点は同じです。
役に立つところ
ヘッドを増やすのは、別々の語を同時に見るためです。 1本だと取り分を取り合ってしまい、2つの語を同時に強く見ることができないからです。
ここまでで見たもの

Transformer のブロック

コーヒー机新聞それが
↓
① 注目　●←→●←→●←→●
この章 ＝ 新しいのはここだけ
⊕　② 飛び越す道　問10
③ 正規化　問7
④④④④
④ 掛けて足す（各語の中で）　問1（y ＝ a × 時間 ＋ b）・問6
⊕　② 飛び越す道　／　③ 正規化
▼　これを N段（原論文は 6段）

新しいのは ① 注目だけ。②③④ は 第1章と 第2章で触った部品です。
注目は語の順番を見ません。だから入口で順番の印を足します（位置エンコーディング）。 足さないと「手がコーヒーに」と「コーヒーが手に」の区別が消えます。
昔（RNN）は1語ずつ順に処理していました。 だから題は "Attention Is All You Need" ＝ RNN は要らない、です。

原典
LayerNorm( x ＋ Sublayer(x) )
注目は「理解」ではなく重みつきの平均で、なぜ学習がその W を見つけるのかは分かっていません。
よく見る説明のうち、原論文に無いもの
何本にするか、1本が何をするかは、よく誤解されています。
よく見る説明原論文では
「it → animal」の可視化図 ありません。"animal" は全文検索で0件
「ヘッド1が係り受け、ヘッド3が時制」 書かれていません。ヘッドにタスク名は付いていません
「ヘッドは多いほど強い」 逆もあります。1組は最良より 0.9 低いが、 32組（25.4）は 8組（25.8）より低い
「内積が最適な測り方」 原典が保留しています（Table 3 行B の考察）
言えるのは 個々の注意ヘッドが明確に異なるタスクを学ぶまでです （§4 末尾 ／ Table 3 行A）。
この問題の作り（数値の出どころ）
もの出どころ
α ＝ softmax(q·k / √d_k)、z ＝ Σ α v、 q ＝ W_q x ほか
÷√d_k の理由（内積の分散は d_k）同 §3.2.1 脚注4
内積が最適とは考えていない同 Table 3 行B
単一ヘッドでは平均化が阻害する同 §3.2.2
1組は 0.9 低い／32組は8組より低い同 Table 3 行A ほか
Fig.4 の対象語は 'its'（Law と application を見ている）同 Figure 4
ブロックの式・位置エンコーディング同 §3.1 / §3.5, Table 3 行E
RNN は1語ずつ順に処理していた同 §1 / Table 1
なぜ賢く働くか分かっていない

この問題が置いたもの

語・点数・札の向き・中身は、全部この問題が置いた数字です。実測ではありません。 「LLM がこう出す」ではありません。該当するもの：問12 の6語と点数（東京 3.0 ほか）、 札の向き（コーヒー 0°／机 90°／新聞 180°／手 270°）、 中身（コーヒー→こぼれた 3.0／新聞→やぶれた 3.0）、目標値（半分より上 ＝ 0.500 と、 問12 の 8.0回・2.5通り）。

同じ式に3語（猫 0°／が 90°／それ 60°）を入れて向き 0° にすると 0.456 / 0.225 / 0.320。資料 第1部§6 の作例（0.46 / 0.22 / 0.32）と一致します。

簡略化していること

本物は d_k ＝ 64 を 8組、語は数万個。ここでは2次元・4語・最大2組で、 札は W の学習ではなく手で置いています。