いま つまみを回すと 何が起きているか ──
つまみを動かすと この数字が全部 動きます
–
ずれ ＝ −log（正解の語に出した確率） ──
当てるほど 0 に近づき、外すほど 跳ね上がります。
物差しは上のゲージと同じ 0〜2.0 です
この数字を決めたのは 誰か ── 上の表の2列
（地名らしさ・動きらしさ）は 私が手で書きました。本物は こうなります
なぜ 文法も事実も要約も付いてくるのか ──
次の語を当てるために 必要だからです
この問で覚えること
これが事前学習です。
1回ぶんと回数
| この問 | GPT-3 |
|---|
| 機械が決めるつまみ | 2 個（a・b） | 1,750億 個 ぜんぶ |
| 人が手で書いた数字 | 10 個（5語 × 2列） | 0 個 |
| 練習した語 | 2文 | 3,000億 語 |
| 出口の語 | 5 語 | 5万 語 |
| 繰り返し | 0 回 | 93,750 回 |
原典
300B ÷ 3.2M ＝ 93,750 回。10万回のオーダーです。
語の数字（1語 12,288個 × 5万語ぶん）も、この 1,750億個の中に入っています。
1語に 12,288個 は Table 2.1 の d_model です。
役に立つところ
もっともらしい嘘は、あとから直せる不具合ではありません。
次に来そうな語を選ぶという
作りそのものから出てきます。
だから「使う側が確かめる」を工程に入れます。消える見込みのある欠陥として待たないこと。