Gradient descent - Differential and partial differential equation (梯度下降法 - 微分與偏微分 需要的基本概念)

◎一階微分

• 代表切線斜率。
• 為0時(水平線)，表示為local Maxima 或者 Minima。
• 自變量變動某個量影響因變量有多少，為變化量(value)。

◎二階微分

• 一階微分所的在進行一階微分。
• 斜率變化。
• 值大於0，表示斜率也將越大，此時呈現凹向上，產生local Minima。
• 值小於0，表示斜率也將越小，此時呈現凹向下，產生local Maxima。
• 凹狀(concave)表斜率遞增。
• 凸狀(convex)表斜率遞減。

◎導數(derivative)

• 表示此函數在某一點附近的變化率。
• 自變量變動一單位影響因變量多少單位。
• 與微分不同，為變化率(rate of change)。
• 瞬時速度為位移對於時間的導數。
• 當函數定義域和取值都在實數域中，可以表示切線斜率。

◎偏微分

• 若為雙變量函數u(x,y)，則偏微分就是固定2個變數中的其一(y)，只看另一個變數(x)對u的影響。
• 只對要進行微分的自變數微分，其他的當作常數。 
• 與全微分不同點在於，全微分是所有變量皆可以同時移動。
• 若BMW分布在二為空間(x1,x2)上，且在某個時間點t上，此位置的密度為u(x1,x2,t)，且此密度回隨著時間t與地點x1,x2不同而變化，因此無法靠單一微分代表它的變化，因此若固定位置，那麼密度變化，則為u(x1,x2,t)對t的偏微分。