遺伝的アルゴリズム．
しかし今回は遺伝交叉や突然変異の無いEstimation of Distribution Algorithm (EDA)について．
要するに次世代個体の残し方の違いなのだが，突然変異といったものが無い分，最適解に速く収束するようにも思えるし，一方で多様性が生み出されない可能性があるから局所解に留まることも増えそうに思う方法だった．
いずれにしても極簡単なモデルにして最適解への収束の保証など，数学的にできそうなことは多々ありそうだ．
更に後半の話題はほぼニューラルネットワークに置き換えられる話になった．
遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化
ダウトの数理．
先回から発想を変えて場合分けアプローチを諦めて，確率的な扱いに．
ダウトゲームに向けた最も簡単と思われるモデルを考え，カード枚数の増減についての期待値計算によって最適戦略を考える．
その結果として出すカードが全カードの数字の半分未満ならばダウトせず，半分を超えたらダウトする，という至極まっとうな結果になった．
さて，この後この単純すぎるモデルをどう実際のダウトに近づけていくか，が問われる．
久しぶりにニューラルネットワーク．というのも教育実習の研究授業が重なっていたからだった．
今回は逆伝播法の計算図の解釈のつづき．
アフィンレイヤーを扱うには行列による微分などが必要になってくる．その際の計算方法で前回つまづいていたところだった．
結局のところ多変数版の連鎖律をきちんと追っていけば理解できた．
さて，これで再びCNNへ戻っていくのかな．
ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
遺伝的アルゴリズム．
今回はNo Free Lunch Theoremについて，主張と証明．
どんな問題に対しても効率が上がるアルゴリズムは存在しない，という定理だ．
「どんな問題に対しても」をどう数学的に表現するのかと思っていたが，あらゆる評価関数についての評価期待値が変わらない，という主張だった．
なるほど，それなら数学に載る．
そしてその証明は結局のところ写像の個数を数えるところに落ち着くということだった．
さてさて，次は何をするのかな．
遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化
ダウトゲームの数理．
当初は各状態に関する推移図を描いてマルコフ連鎖の話題に，と考えていたのだがまともに相手にするとなんとも収拾のつかない話になる．
そこで方針を大きく変えて各場合を見るのではなく全ての場合を一度に考え，期待値で考察を進めることにした．
更にはゲームをプレイヤーに関して対称にせず，カードを出す側とダウトする側を固定し，相手カードに関する情報ができるだけ増えないルールの下でゲームをまず考察することにした．
とりあえず数学に乗りやすい形の近似的なゲームを考えていこうということだ．
遺伝的アルゴリズム．
このところグレイコードについて議論しているが，今日で決着をつけたい．
アルゴリズム的に理解しているものをきちんと数式で書き下す作業も卒論として，かつ数学するにも必要だ．
そうしてよくよく見直したら前回の数式がアルゴリズム通りになっていないことに気付き，訂正．
ようやくn進数とそのグレイコードの対応が完成した．
つぎは"No Free Lunch theorem"だそうだ．
遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化
遺伝的アルゴリズム．
とはいっても今回は先回宿題としたn進グレイコードを作ることだ．
あまり調べても見つからなかったらしく，オリジナルで考えてn進数と極自然に対応するグレイコードを作ってきた．
まとめるとn進数 に対し，そのグレイコード
を
\[g_l\equiv b_l-b_{l-1}\pmod{n}\]で与えるというものだった．これは隣接するn進数同士のHamming距離が１になるのみならず，異なったbitにおいてもその値が１違うだけのものとなり，GAでコーディングするとき便利であろうと予感される．
遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化
ニューラルネットワーク．
CNNに行く前に分かっておくべきこととして一章前に戻ってみてきてもらう．
計算グラフの考え方だったが，逆伝播を常に意識して描くようだ．
しかしスカラーでない場合の逆伝播についての解釈で混乱，次回へ．
ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
一人目ダウトの数理．
相変わらずゲームの推移確率行列作りで終始．
何かこの方向での参考になる研究ないものかね．
モノポリーはしばしば見受けられるのだけど．
二人目，ヘックスの数理．
不動点定理による引き分けの非存在から，今回は不動点定理そのものの証明と，引き分けの非存在から不動点定理を導くという話．
ただしホモロジーによる証明は全く習っていない学生にはちょいと大変．
それにしても引き分けの非存在と不動点定理が同値というのはなかなか見抜けない仕組みだ．
こちら実習前最後かね．
一人目，超越数論．
リンデマンの定理の証明が終わった先週，実習前最後の回となりきりが悪いのでGel'fond-Schneiderには入らず，そこで必要とされる概念について紹介．
そろそろきちんと体論が必要となるだろうから，再開時には体論をちょっと見ておこうか，という流れになった．
二人目，遺伝的アルゴリズム．
ちょっとは理論を，ということで前回テキストを渡して2週ぶり．
今回はGAに役立ちそうなグレイコードについて．
2進グレイについて，2進数と全単射であって，かつ隣の数値はグレイコードでも隣になる変換があることを議論しながら確認した．
で，宿題としてn進グレイについてはいかがなものか考えてきてもらうことに．
遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化
ニューラルネットワーク．
実装編のテキストに移ってからやや停滞気味．
CNNの方法について見てきたようだが，そこに使われているReLUやらAffineやらその背景にある仕組みが見えない．
ということで一章手前の部分も見てきたもらうことに．
ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
幅跳びの数理，最適角の導出．
結局のところ空気抵抗無しのモデルのままでの計算を進めるのだが，別の論文では考慮しても１度にも満たない誤差であるとの報告もあり，角度については無抵抗モデルで十分のようだった．
その一方で飛距離に関してはそこそこの影響が現れ，それが実測値に反映されているようだ．
副面実習前の最後の回ではあるが，とりあえずここまでかな．
超越数論．
リンデマンの定理の証明の続き．
前回は最初の補題で評価につまずき今回にずれ込んだが，今度は進んだようだ．
こうして証明を見てみると
\begin{equation}
a_0e^{\alpha_0}+\cdots+a_ne^{\alpha_n}
\end{equation}
という形は，なかなかいい形なのだということが分かった．
そしてこの証明では純粋に解析的評価だけではなく，体の自己同型で不変な形を作って矛盾を示すという点で不思議さがない．
なるほどね．
ニューラルネットワーク．
理論的に画像抽出モデルが終わったところで，より実装に近いテキストを読み始めたものの，Pythonの運用がなかなか上手くいかないらしく，テキストも読み進められていない模様．
自分の手元のも同じテキストがあるので概観してみると，多くの部分はすでに前のテキストで見たところだ．
多層モデルってやったっけ？と尋ねたら3層をそういえばやったのだっけ，そこで誤差逆伝搬法まで見たんだね．
そうかそうか，実質的なところはすでに終わってるんだね．
ではテキスト終盤にある，Convolutional neural networkをみるところからかね．
ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
幅跳びの数理モデル．
いわゆる慣性抵抗を考慮したジャンプの考察が続く．
いよいよ最適角度の導出へ進むのだが，そもそも純粋に速度の二乗に比例した抵抗を受ける場合の最適角度そのものを導いていない．
いや，ついこの間，重心下降まで考慮した飛距離の最大値を求めたのだから，そのついでに角度を求めてもよかったとも思える．
さて，実習までに片付くのかな．
