Question 21
上げるほど、下がる場所がある
ここから使うのは 決定木 という別のやり方です
決定木（けっていぎ）＝
「はい／いいえ」で答える質問を並べた木です。ここまで あなたが手でやっていたこと
（列で分ける → 帯ごとに多いほうを答える）を、機械が自分で繰り返します。
第1章〜第4章の勾配降下とは 別の仕組みです。
あちらはつまみを少しずつ動かして、ずれが下がる向きへ進むものでした。
決定木は切れ目の候補を全部 並べて、いちばん良いものを選ぶだけ。少しずつ動きません。
表のかたちのデータでは、この決定木が定番です。
深層学習が何にでも効くわけではありません。
問19 でやったこと ── どの組にも 同じ質問を、順番に足していく
決定木がやること ──
分かれた先で、その場でいちばん効く質問を選び直す
いま「効く」と書いたのは、この意味です。
機械が測っているのは当たった人数ではありません。迷いがどれだけ減るかです。
「迷い」を数で表す
組の中が半々に近いほど、迷いは大きい。全員が同じなら迷いは 0。
–
p＝その組で生存だった割合、q＝死亡だった割合（p ＋ q ＝ 1）。
log₂ は「2を何乗したらその数になるか」です。式の中身は覚えなくてかまいません。
半々なら 1.00、片寄るほど 0 に近づく── それだけ分かれば足ります。
質問を1つすると、迷いはどれだけ減るか
割った先の迷いを人数で重みを付けて平均し、割る前から引きます。
これが「効き」の物差しです。
–
人数の多い組の迷いを、重く数えます。891人のうち男は 577人（64.8%）なので、
男の迷いを 0.648 倍して数える、という意味です。
持っている15列を全部 測った結果（891人ぜんぶで）
「はい」の側／「いいえ」の側は、その質問で割ったときの人数です。
数の列（等級・運賃・年齢・家族の人数）は切れ目の候補を全部 試して、いちばん減る切れ目を選んでいます。
ここが引っかかるところです
1位の列で分けても、当たった人数は いちばんにはなりません。
機械は当たった人数を見ていません。迷いの減りだけを見ています。
それでよい理由は、質問を1回でやめないからです。迷いが小さい組にしておくと、
次の質問で効率よく削れます。1回目の4人は、2回目以降のために手放しています。
練習の点（891人）
–%
初見の点（見せていない人）
–%
つまみを右に動かしてください。
青＝練習の点（答えを知っている891人）／
赤＝初見の点（作るときに1度も見ていない人）
いま 答えを出す先（葉）は 2個
── 帯1本が891人。縦線が葉の切れ目です
–
「初見の点」の測り方
── 891人を5つに分け、1つを隠して残りで作り、隠したほうで採点します。
隠す塊を変えて5回まわし、その平均を出します
□＝隠して採点する側（この5回で891人 全員が1度ずつ採点されます）。
5つの塊は生存率をそろえてあります（891人ぜんぶ 0.3838 に対し
0.3855 / 0.3820 / 0.3820 / 0.3820 / 0.3876）。
1回だけ測ると、隠す178人を変えるだけで 5.6ポイント 動きます。だから5回の平均で見ます。
last
モデルを変えても届かない。列を変えるしかない
棒が初見の点。横線が5回の散らばり（標準偏差）。
作りがまったく違う4つが、同じ高さに並んでいます
いちばん上の2つ（ランダムフォレスト300本 と 決定木 深さ4）に、差があると言えますか。
条件は2つ ── ⑴ 差の範囲（差の平均±ばらつき）が 0 をまたがない ⑵ 5回とも同じ向き
どちらかを押してください。
左＝この問題（作ったのは人。名前が付いていて、何を見ているか分かる）／
右＝LLM（1つの語を 12,288個の数字に置きかえる。その数字も学習で決まる。どの数字が何を表すのか 名前が無い）
役に立つところ
練習の点だけ見ていても分かりません。必ず、一度も見ていないデータで測ります。
そして、点を上げたくなったら
モデルを替えるより、渡す列を作るほうが効きます。
数字はすべて公開データ（Kaggle の Titanic）の実測値です。問18〜21 は練習891人で数えました。
初見の点は 891人を5つに分けて5回まわした平均です。