Coursera Machine Learning 受講ノート 3
ななめよみしてなんとかテストにパスした Week 1 / Parameter Learning
線形回帰以外に最急降下法というのがある。 ある目的関数Jに対して、その最小値を取りたい。 そこで、θ(0)とθ(1)を少しずつずらして最小値、あるいは局所的最小値を探す。 最急降下法(Gradient Descent)は、開始地点によってまったく違う局所的最適解にたどり着くことがある。
:= は代入を示す。
最急降下法は、すべてのパラメーターθ(j)に対して同時に計算を行い、同時に更新を行う。
理解を助けるためにθ(1)だけを扱う。 するとJ(θ(1))は二次関数になる。 であればJ(θ(1))の微分をとってそれが0になる箇所を探せば、それは必ず最適解である。
適切な学習率を指定された最急降下法では、イテレーションを繰り返すほどにステップが小さくなっていく。
ではこれを二乗誤差の目的関数に適用したらどうなるだろうか？
Week 1 / Linear Algebra Review (Optional)
行列とベクトルについての復習。ありがてぇ...。
行列 == Matrix。
行列は2次元以下の数字の並びを指す。
R(2 x 3)のように書いて、2行 x 3列の行列を示すことがある。
行列の要素は1から始まるインデックスで参照できる。
ベクトルはn x 1の行列。 nは次元の数で、R(n)と書いてそれを示すことができる。
行列は普通1-indexed(1はじまりのインデックス)で、大文字アルファベットに定義する。
行列同士は足し算できる。同じ次元の行列しか足せない。 行列に実数を掛け算・割り算することもできる。起こることは想像どおり。 （行列に実数を加減算はできるのかな？）
