Held-out Data 使用什么数据? 使用训练数据T:但是我们总会得到入3=1 为什么? 在向量λ上最小化H(p(2),p()=3pr+2p2x+p1r+Vl 记住H(p3)=H(p3r)+Dp3rlpx)(p3 r fixed→H(p3T) fixed. best) 满足D(p3rlpx)=0的p可以使得H1(px)达到最小 解是pr(因为Dplp)=0) If23=1,必有p'=1*p3r+0*p2x+0*p1r+0/Vpr ·所以:不要采用训练数据来估计λ! 必须留出部分训练数据( Held out data,H) 剩下的数据为真实原始的训练数据( training data,T 测试数据S(例如为了比较):仍然是不同的数据!Held-out Data • 使用什么数据？ – 使用训练数据T：但是我们总会得到λ3=1 • 为什么？ • 在向量λ上最小化HT(p’(λ)), p’(λ)=λ3p3T+ λ2p2T+ λ1p1T+ λ0 /|V| – 记住HT(p’ λ )=H(p3T)+D(p3T||p’ λ ) ;( p3T fixed→H(p3T)fixed,best) – 满足D(p3T||p’ λ ) =0的p’ λ可以使得HT(p’ λ )达到最小 – 解是p3T（因为D(p||p)=0） – If λ3=1,必有p’ λ= 1*p3T+ 0*p2T+ 0*p1T+ 0/|V|= p3T • 所以：不要采用训练数据来估计λ! – 必须留出部分训练数据（Held out data, H） – 剩下的数据为真实原始的训练数据(training data,T) – 测试数据 S（例如为了比较）：仍然是不同的数据！