Coursera Machine Learning week1 その2
week1の内容が長すぎるので3つに分けます
- 最急降下法(Gradient Descent)
- 最急降下法(Gradient Descent)を二条誤差目的関数(Squared error function)に適応して目的関数のパラメータを求める方法
最急降下法(Gradient Descent)
- 学習効率(Learning rate):
- 導関数項(derivative term):
導出数項は少しずつ0に近づくため、学習効率が固定されていても局所的最小値に収束する
最急降下法(Gradient Descent)を二条誤差目的関数(Squared error function)に適応して目的関数のパラメータを求める方法
- 2.目的関数()を適応する
- 4.最終形
- 最急降下法を実装するときの注意
- 必ずとを同時に更新すること
- 局所最適(Batch)に落ち着く問題
- 最急降下法ではローカル最適(Batch)に落ち着いてしまいグローバル最適を発見できない恐れがある
- 凸型関数を利用すれば必ずグローバル最適を発見できる(曲最適に落ち着かない)
*1:どう変換したのかよくわからない