ゼミの風景

おそらくお気楽はしのすけゼミの諸風景

Top | ゼミ2016卒 | ゼミ2015卒 | ゼミ2014卒 | イベント | About

ニューラルネットワーク(4年ゼミ)

f:id:okiraku894:20180620131156j:plain
f:id:okiraku894:20180620135138j:plain
久しぶりにニューラルネットワーク.というのも教育実習の研究授業が重なっていたからだった.
今回は逆伝播法の計算図の解釈のつづき.
アフィンレイヤーを扱うには行列による微分などが必要になってくる.その際の計算方法で前回つまづいていたところだった.
結局のところ多変数版の連鎖律をきちんと追っていけば理解できた.
さて,これで再びCNNへ戻っていくのかな.

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ニューロコンピューティングの数学的基礎

ニューロコンピューティングの数学的基礎

遺伝的アルゴリズム(4年ゼミ)

f:id:okiraku894:20180614113840j:plain
f:id:okiraku894:20180614120838j:plain
f:id:okiraku894:20180614123326j:plain
遺伝的アルゴリズム.
今回はNo Free Lunch Theoremについて,主張と証明.
どんな問題に対しても効率が上がるアルゴリズムは存在しない,という定理だ.
「どんな問題に対しても」をどう数学的に表現するのかと思っていたが,あらゆる評価関数についての評価期待値が変わらない,という主張だった.
なるほど,それなら数学に載る.
そしてその証明は結局のところ写像の個数を数えるところに落ち着くということだった.
さてさて,次は何をするのかな.

遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化

遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化

進化論的計算手法 (知の科学)

進化論的計算手法 (知の科学)

ダウトの数理(4年ゼミ)

f:id:okiraku894:20180608172442j:plain
ダウトゲームの数理.
当初は各状態に関する推移図を描いてマルコフ連鎖の話題に,と考えていたのだがまともに相手にするとなんとも収拾のつかない話になる.
そこで方針を大きく変えて各場合を見るのではなく全ての場合を一度に考え,期待値で考察を進めることにした.
更にはゲームをプレイヤーに関して対称にせず,カードを出す側とダウトする側を固定し,相手カードに関する情報ができるだけ増えないルールの下でゲームをまず考察することにした.
とりあえず数学に乗りやすい形の近似的なゲームを考えていこうということだ.

遺伝的アルゴリズム(4年ゼミ)

f:id:okiraku894:20180607132525j:plain
f:id:okiraku894:20180607135317j:plain
遺伝的アルゴリズム.
このところグレイコードについて議論しているが,今日で決着をつけたい.
アルゴリズム的に理解しているものをきちんと数式で書き下す作業も卒論として,かつ数学するにも必要だ.
そうしてよくよく見直したら前回の数式がアルゴリズム通りになっていないことに気付き,訂正.
ようやくn進数とそのグレイコードの対応が完成した.
つぎは"No Free Lunch theorem"だそうだ.

遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化

遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化

進化論的計算手法 (知の科学)

進化論的計算手法 (知の科学)

遺伝的アルゴリズム(4年ゼミ)

f:id:okiraku894:20180531113358j:plain
f:id:okiraku894:20180531122833j:plain
遺伝的アルゴリズム.
とはいっても今回は先回宿題としたn進グレイコードを作ることだ.
あまり調べても見つからなかったらしく,オリジナルで考えてn進数と極自然に対応するグレイコードを作ってきた.
まとめるとn進数 {\bf b}=(\cdots,b_l,b_{l-1},\cdots) に対し,そのグレイコード
{\bf g}=(\cdots,g_l,g_{l-1},\cdots)
\[g_l\equiv b_l-b_{l-1}\pmod{n}\]で与えるというものだった.これは隣接するn進数同士のHamming距離が1になるのみならず,異なったbitにおいてもその値が1違うだけのものとなり,GAでコーディングするとき便利であろうと予感される.

遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化

遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化

進化論的計算手法 (知の科学)

進化論的計算手法 (知の科学)

ニューラルネットワーク(4年ゼミ)

f:id:okiraku894:20180530113842j:plain
f:id:okiraku894:20180530124436j:plain
ニューラルネットワーク.
CNNに行く前に分かっておくべきこととして一章前に戻ってみてきてもらう.
計算グラフの考え方だったが,逆伝播を常に意識して描くようだ.
しかしスカラーでない場合の逆伝播についての解釈で混乱,次回へ.

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ニューロコンピューティングの数学的基礎

ニューロコンピューティングの数学的基礎

ダウトの数理,組み合わせゲームの理論(4年ゼミ)

f:id:okiraku894:20180525122521j:plain
一人目ダウトの数理.
相変わらずゲームの推移確率行列作りで終始.
何かこの方向での参考になる研究ないものかね.
モノポリーはしばしば見受けられるのだけど.

f:id:okiraku894:20180525165201j:plain
f:id:okiraku894:20180525160604j:plain
二人目,ヘックスの数理.
不動点定理による引き分けの非存在から,今回は不動点定理そのものの証明と,引き分けの非存在から不動点定理を導くという話.
ただしホモロジーによる証明は全く習っていない学生にはちょいと大変.
それにしても引き分けの非存在と不動点定理が同値というのはなかなか見抜けない仕組みだ.
こちら実習前最後かね.

組合せゲーム理論入門 ?勝利の方程式?

組合せゲーム理論入門 ?勝利の方程式?

超越数論,遺伝的アルゴリズム(4年ゼミ)

f:id:okiraku894:20180524121332j:plain
一人目,超越数論.
リンデマンの定理の証明が終わった先週,実習前最後の回となりきりが悪いのでGel'fond-Schneiderには入らず,そこで必要とされる概念について紹介.
そろそろきちんと体論が必要となるだろうから,再開時には体論をちょっと見ておこうか,という流れになった.

無理数と超越数

無理数と超越数

f:id:okiraku894:20180524135946j:plain
二人目,遺伝的アルゴリズム.
ちょっとは理論を,ということで前回テキストを渡して2週ぶり.
今回はGAに役立ちそうなグレイコードについて.
2進グレイについて,2進数と全単射であって,かつ隣の数値はグレイコードでも隣になる変換があることを議論しながら確認した.
で,宿題としてn進グレイについてはいかがなものか考えてきてもらうことに.

遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化

遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化

進化論的計算手法 (知の科学)

進化論的計算手法 (知の科学)

ニューラルネットワーク(4年ゼミ)

f:id:okiraku894:20180523135936j:plain
ニューラルネットワーク.
実装編のテキストに移ってからやや停滞気味.
CNNの方法について見てきたようだが,そこに使われているReLUやらAffineやらその背景にある仕組みが見えない.
ということで一章手前の部分も見てきたもらうことに.

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ニューロコンピューティングの数学的基礎

ニューロコンピューティングの数学的基礎

幅跳びの数理(4年ゼミ)

f:id:okiraku894:20180521121001j:plain
f:id:okiraku894:20180521124521j:plain
幅跳びの数理,最適角の導出.
結局のところ空気抵抗無しのモデルのままでの計算を進めるのだが,別の論文では考慮しても1度にも満たない誤差であるとの報告もあり,角度については無抵抗モデルで十分のようだった.
その一方で飛距離に関してはそこそこの影響が現れ,それが実測値に反映されているようだ.
副面実習前の最後の回ではあるが,とりあえずここまでかな.

スポーツバイオメカニクス20講

スポーツバイオメカニクス20講

スポーツ動作の科学―バイオメカニクスで読み解く

スポーツ動作の科学―バイオメカニクスで読み解く

超越数論(4年ゼミ)

f:id:okiraku894:20180517120355j:plain
f:id:okiraku894:20180517122715j:plain
超越数論.
リンデマンの定理の証明の続き.
前回は最初の補題で評価につまずき今回にずれ込んだが,今度は進んだようだ.
こうして証明を見てみると\
\begin{equation}
a_0e^{\alpha_0}+\cdots+a_ne^{\alpha_n}
\end{equation}
という形は,なかなかいい形なのだということが分かった.
そしてこの証明では純粋に解析的評価だけではなく,体の自己同型で不変な形を作って矛盾を示すという点で不思議さがない.
なるほどね.

無理数と超越数

無理数と超越数

ニューラルネットワーク(4年ゼミ)

f:id:okiraku894:20180516134612j:plain
ニューラルネットワーク.
理論的に画像抽出モデルが終わったところで,より実装に近いテキストを読み始めたものの,Pythonの運用がなかなか上手くいかないらしく,テキストも読み進められていない模様.
自分の手元のも同じテキストがあるので概観してみると,多くの部分はすでに前のテキストで見たところだ.
多層モデルってやったっけ?と尋ねたら3層をそういえばやったのだっけ,そこで誤差逆伝搬法まで見たんだね.
そうかそうか,実質的なところはすでに終わってるんだね.
ではテキスト終盤にある,Convolutional neural networkをみるところからかね.

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ニューロコンピューティングの数学的基礎

ニューロコンピューティングの数学的基礎

幅跳びの数理(4年ゼミ)

f:id:okiraku894:20180514112805j:plain
f:id:okiraku894:20180514123417j:plain
幅跳びの数理モデル.
いわゆる慣性抵抗を考慮したジャンプの考察が続く.
いよいよ最適角度の導出へ進むのだが,そもそも純粋に速度の二乗に比例した抵抗を受ける場合の最適角度そのものを導いていない.
いや,ついこの間,重心下降まで考慮した飛距離の最大値を求めたのだから,そのついでに角度を求めてもよかったとも思える.
さて,実習までに片付くのかな.

スポーツバイオメカニクス20講

スポーツバイオメカニクス20講

スポーツ動作の科学―バイオメカニクスで読み解く

スポーツ動作の科学―バイオメカニクスで読み解く

ダウトの数理,組み合わせゲームの理論(4年ゼミ)

f:id:okiraku894:20180511121034j:plain
一人目,ダウとの数理.
オリジナルゲームのままの解析はとんでもなく煩雑だからという理由でカードを0と1に限定したのだけど,それでも扱いにくい.
改めてルールを見直し,モデルにしやすい形を考える.
たとえばカードがすべて異なっており大小関係が明確にし,更にダウトしなかったなら場のカードを流すことにすれば帰納的に小さなゲームへと還元できるだろう.
ということで今度はその線で進めてきてもらうことにした.

f:id:okiraku894:20180511160736j:plain
二人目,ヘックスの数理.
まだ前回はっきりしなかった引き分けがないことの不動点定理による証明が今日完結.
自分なりに証明を見直し修正してきて,ようやく腑に落ちる話となった.
この不動点定理の活用はいろいろとできそうで,その方向でほかのゲームを分析するというのもありだ.
あるいは二人ゲームから多人数ゲームへ広げてもいい.

組合せゲーム理論入門 ?勝利の方程式?

組合せゲーム理論入門 ?勝利の方程式?

超越数論,遺伝的アルゴリズム(4年ゼミ)

f:id:okiraku894:20180510122801j:plain
一人目,超越数論.
Lindemann-Weierstrassの定理の証明へ.
どうやら e の超越性を真似ることでできるようなのだが,今日は補題の最後の行間が埋められず次回へ.
実際 e の場合とキチンと並べて書けば分かるはずなんだ.

無理数と超越数

無理数と超越数

二人目,遺伝的アルゴリズム.
コーディングがうまくいかないらしことと,そればかりに集中したことで話すこと無しとのこと.
これでは卒論がままならないので改めてテキストを貸す(そして課す).
やはりきちんと数理的な扱いを見ておかねばね.

遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化

遺伝アルゴリズムとニューラルネット―スケジューリングと組合せ最適化

進化論的計算手法 (知の科学)

進化論的計算手法 (知の科学)