Deep Black BoxAIのブラックボックスを、1問ずつ開けて手で動かす。全21問。
Question 17

正誤なら 点をごまかせない。ただし 正誤が付くものだけ

いま どこの話をしているのか　── 上の帯が これまでの章と この問の位置です。 下の段は この問の中身で、2025年1月・DeepSeek の論文1本のやり方です （DeepSeek-R1・arXiv:2501.12948）。 問16 と違うのは 2つ ── 人の見本の答えを 1つも使いません。 採点するのは 人ではなく 機械です （数値を照合したり、コードのテストを走らせたりします）。 このあと あなたに押してもらう ○✕ は、その機械の代わりです。 いまの各社が同じやり方をしているかは、この論文には 書いていません。
Â（アドバンテージ）は 何をする数か　── 平均より上か 下かを測る数です。 上なら 強め（＋）、下なら 抑える（−）。 ばらつきで割るのは、問題ごとに ものさしを そろえるためです （4つあるので 4で割る）
4つの解答に ○✕ を付けます（押すと入れ替わる）
 ＝ ( r − 平均 ) ÷ 標準偏差 r ＝ 正解 1 ・ 誤り 0
＋を強め、−を抑えます。標準偏差は4で割る
–
「正誤が付けられる」とは どういうことか　── 答えが1つに決まるなら 機械が採点できます。 読む人によって変わるなら 採点できません
機械で正誤が判定できるのはどれですか
0/ 6 当たり
0目標 66
–
1回だけ引く と、何回も引く　── 上の2本は 1回だけ答えさせて 当たった率（AIME 2024 という数学のテスト。 模範解答を使わない版で測った値です）。 下の2本は 何回も答えさせて 1回でも当たった率で、 ほとんど変わりません。 下の2本は「変わらない」ことを見せるための模式です （原典に数値はありません）。原典自身が「自分たちのやり方のせいかもしれない」と保留しています。
この問で覚えること
これが RLVR（正誤を報酬にする強化学習）です。
AIME 2024 の pass@1（%）
得る模範解答を使わず、 正誤と形だけを報酬にして 15.6% → 77.9%
失う模範解答をあいだに挟むと 77.9 → 59.0 に下がる
pass@1 は何回か試した正答率の平均で、「1回で当てた率」ではありません
原典
役に立つところ
この鍛え方が効くのは、正誤が機械で判定できるところだけです。 計算・コード・数値の照合は伸びます。 読む人によって答えが変わる仕事（文章の良さ・謝罪の誠実さ）は、ここでは伸びません。伸びたという話が来たら、何を正解にしたのかを先に聞きます。
summary

いま「作る工程」の話か、「使い方」の話か

作る工程は順番があり、後戻りできません。使い方は順番がなく、組み合わせます。
「AIは平均に流れる」と「数学オリンピックを解く」は別の段の話です。
next

ここから先は、あなたが手を動かす番です

次の章だけは、この入れ子の外です。道具が変わります。