最小二乗法 勾配降下法
正規方程式による解法は、問題によっては最適な解を見つけることが出来ない上、データ数の増加とともに計算コストが急激に増える。
おまけ
全部説明できますか
実際には、赤色の点線のような「距離」ではなく、次式で表されるような「平方根平均二乗誤差（ RMSE : Root Mean Squared Error ）」などの「二乗誤差」と呼ばれる値を最小化するようにパラメータを求めます。
この二乗誤差を最小化することから、この手法は「最小二乗法」と呼ばれています。
また、RMSE など、最小化の対象となる誤差を求める関数は「損失関数」と呼ばれています。
