Question 13
どの語を見るか
緑の4語に札があります（本物は全部の語に）。
「それ」が探しものを出し、札と向きを比べます。
目標
コーヒーを見る割合を 半分より上 にする
この問題で そう置いた値です。
取り分の合計は 1 なので、半分を超えたら
他の語ぜんぶを足したより、この語を見ている状態になります。
札と探しものは どこから来るのか
x
語のベクトル
─ ×W_q → q 探しもの
─ ×W_k → k 札
─ ×W_v → v 中身
q ＝ W_q · x
k ＝ W_k · x
v ＝ W_v · x
本物は W_q・W_k・W_v をデータから学習し、向きはその結果です。
このゲームに W はありません。向きは手で置いた数字です。
この問題を解くのに坂は下りません（向きはあなたが手で回します）。
ただし すぐ下の枠で、機械が W を決めるところだけ 見せます。
向きの揃い具合（掛けて足す＝内積。まん中の線が 0）
↓ 向きが揃っている語ほど、取り分が多くなります
注目の重み（4つを足すと 1。赤い線が 0.50）
↓ その重みで中身を混ぜた結果 ＝ 次の1語
この問で覚えること
ここでやったのは 自己注意（Self-Attention）です。
語ごとに 探しもの・札・中身 を作り、向きを比べて、
合計1の重みで中身を混ぜる ── これだけの仕組みです。
「それ」が見る先で、次の1語が変わります。4つの取り分を足すと 1 です。
役に立つところ
「それ」が何を指すかは、AIの中では決まっていません。
前のどの語を見るかで、出てくる語が変わります。だから「それ」「これ」で済ませずに
名前で書いたほうが、答えが安定します。