·梯度下降算法，基于这样的观察： 如果实值函数F(x)在点a处可微并且有定义，那么函 数F(x)在点a沿着梯度相反的方向-又F(x)下降最快 对2仅一个样本有： 是am)=×{品w-d}×2xw-0 =x(wx-d) =(wx-d)x scalar 采用了denominator layout/Hessian formulation求导 6/51▶ 梯度下降算法，基于这样的观察： 如果实值函数 F (x) 在点 a 处可微并且有定义，那么函 数 F (x) 在点 a 沿着梯度相反的方向 − ▽F (x) 下降最快 ▶ 对 Ω 仅一个样本有： ∂ ∂w JΩ(w) = 1 2 ×  ∂ ∂w (w T x − d)  × 2 × (w T x − d) = x(w T x − d) = (w T x − d) | {z } scalar x 采用了denominator layout/Hessian formulation求导 6 / 51