Question 16
賢くはならない。振る舞いが 誰かの好みにそろう
いま どこの話をしているのか ──
上の帯が これまでの章と この問の位置です。
下るたびに 得るものと 失うものがあります（積み上げではありません）。
下の段は この問の中身で、2022年3月・OpenAI の論文1本のやり方です
（「指示に従わせる」arXiv:2203.02155。整えた相手は GPT-3・2020年・つまみ 1,750億個）。
下の段の ①②③ は【この問（問16）の中だけの手順】です
（問15・問17 とは関係ありません）。問15 でできた LLM に 人が手を入れる順番で、
あなたが押すのは ② だけです。
できたものの「使い方」（思考の誘導など）は この列の外で、
最後の問で出てきます。いまの各社が同じやり方をしているかは、この論文には書いていません。
A と B は何が違うのか ──
どちらが「良い」かは 決まっていません。押した人の好みが そのまま点になります
3組とも選んだ側の予測を 80% 以上に。
P ＝ σ( r(選んだ方) − r(選ばなかった方) )
ずれ ＝ −log P の 3組の平均
σ はシグモイド。つまみは 6個の r（報酬）で、これを機械に動かさせます
［10歩］で 何をしているのか ──
あなたが押した通りになるように、点の付け方を 直しています。
問1〜2 と同じ坂下りで、違うのは ずれの測り方だけ ──
人が押した方に 高い点が付いているかを測ります。
ここで作っているのは「点の付け方」です。
LLM 本体（上の図の ③）は、この画面ではまだ 1歩も動いていません。
物差しが 2つあります ──
同じものを 2つの測り方で測っています。どちらで測るかで 答えが逆になります。
13億・1,750億 は つまみ（パラメータ）の数です
「一致率 7割」とは何か ──
40人の多数決ではありません。同じ1問を 2人に見せて、同じ方を選んだかを数えたものです
この問で覚えること
これが RLHF（人の好みによる強化学習）です。
答えの型の散らばり（模式）
| 得る | 有用性。同じ大きさの
整える前に 85% 勝つ。13億が 1,750億より好まれた |
|---|
| 失う | 一部の力が下がる
（SQuAD・DROP・HellaSwag・WMT15）。較正が壊れる 0.007 → 0.074 |
|---|
役に立つところ
「誰の好みに合わせたか」が公開されているのは、この論文の約40人の例だけです。
ふだん使う道具が誰の好みで整えられたかは、ふつう分かりません。
出力の癖は、その道具を整えた人たちの癖だと思って読みます。他社が同じやり方をしているかは、この論文には書いていません。