Deep Black BoxAIのブラックボックスを、1問ずつ開けて手で動かす。全21問。
Question 10

深くすると、壊れることがある

深さを 1層 → 3層 に変えて、境目●の色当たりの数が どう変わるかを見てください。

境目(○が合格・✕が不合格)と、●が いま 数を通しているか ── 灰色の●は 40人 全員に 0 を返していて、 先へ 何も渡していません(問9 でやった ReLU です)
深さ つまみ 13
層を飛び越えて そのまま足す
0
「3,000歩まで下る」を押してください。
●1個の「行き」と「帰り」 ── 帰りの正式な名前は 誤差逆伝播法(バックプロパゲーション)。0 を返す●は、その帰りを 止めてしまいます
「1歩」の中身 ── 行き(順伝播)と 帰り(誤差逆伝播)を 何千回 繰り返します
「飛び越す道」は 何をしているのか ── 正式な名前は スキップ結合残差接続とも)。層を1つ 飛び越えて、入ってきた数を そのまま足すしくみです
この問で覚えること
深いネットを安定させる部品は2つ ── 飛び越す道(スキップ結合・残差接続)と 問7 の 0〜1 にそろえる(正規化)です。
役に立つところ
学習が進まないときに疑う順番は ⒜ 入力の大きさ(問7)⒝ 1歩の大きさ ⒞ 折り曲げ方 ⒟ 飛び越す道があるか です。
●が全部 灰色になっていたら ⒞ か ⒟ です。
言葉の対応(詳しくは資料へ)
言葉この画面では
全結合層●から●へ引いた線ぜんぶ
活性化関数折り曲げ方(ReLU・シグモイド)
まん中の層
順伝播行き ── 入口から 出口へ 数を渡して 予想を出すこと
誤差逆伝播法
(バックプロパゲーション)
帰り ── 出口の ずれを 出口から入口の向きへ配って、つまみ1個ごとの「どっちへ どれだけ回すか」を出すこと
勾配消失●が 0 ばかり返して、つまみを動かす手がかりが 手前へ戻らないこと
スキップ結合・残差接続飛び越す道
発散(勾配降下法)数字が止まらなくなること
正規化(バッチ・レイヤー)0〜1にそろえること(目いっぱいの値で割る)
学習率1歩の大きさ
多層パーセプトロン層が1つ以上ある形
単純パーセプトロン層が無い形(=問8)