交差エントロピー誤差についてのあれこれ
気になったことをメモ。
理由は、交差エントロピー誤差は確率的勾配降下法との相性が良いからです。
確率的勾配降下法という手法は、大雑把に言えば、微分から傾きを求めて損失関数が小さくなる方向に進んでいくことで最適化を図る手法です。
その際に、という性質が計算式が複雑になるのを防ぎます。
損失関数の最適化手法としては確率的勾配降下法が使われることが多く、そのため交差エントロピー誤差が使われる場面も多くなります。
交差エントロピーの利点は、分布がまるで期待外れのとき（誤差が大きいとき）学習の速度が速い点です。
また、
によると、
ロジスティック曲線を求める際には、一般的に交差エントロピーを損失関数として用いる。（中略）
ロジスティック回帰に限らず、分類問題を解く際によく用いられる。
ちなみにロジスティック曲線はシグモイド関数のこと。（ロジスティック関数のうちの一つがシグモイド関数）
他にも整理しきれてないものを整理していく
