この問で覚えること
練習用は満点なのに、一度も見せていないデータで落ちる ── これを 過学習と呼びます。
役に立つところ
練習用の点だけ見ていても分かりません。必ず、一度も見せていないデータで測ります。
Kaggle の Titanic でも同じことが起きます ──
乗客番号を入れると練習 100%・本番 53.31%（全員に「死亡」と答える 61.62% より低い）。
何回まわすのか。練習用 28人を 7人ずつに切って流します
7人ぶんで1回 動かすのを 1イテレーション、
28人ぜんぶを1周したら 1エポックと呼びます。
この 7人ずつの切り分けがミニバッチです。
40人なら全部いっぺんに測れますが、本物は3,000億語あるので一部ずつしか測れません。
LLM も、つまみの数が 1,750億個 になるだけで、形は同じです。
次へ
つまみが 1,750億個になると、
どの語を見るかを決める仕組みが要ります。
それが
第3章の「注目」です。