211渐近方法 选择参数估计量的准则不同经典方法或者以最小二乘,或者以最大或然为准则,求解参 数估计量;贝叶斯方法则需要构造一个损失函数,并以损失函数最小化为准则求得参数估 计量。 贝叶斯定理 9(|Y)=f(Y)g(6) 2.11渐近方法 来自[16第十四章渐近方法。 渐近分布 定义2.3(渐近分布)用T<T2<…<TN表示连续递增样本容量,设在每个样本容量 T下重复抽样,则每个X;都有自己的样本均值和方差利用递增样本可以求得随机样本序列 XT={Xn1,…,XTx},其中每个元素是相应样本容量下的一个随机变量。当TN→∞时,这 些分布收敛于某一分布,则称该分布为渐近分布或极限分布。 相应的,可建立渐近期望和渐近方差概念。 问题21 lim EIXT-E(XT)2=0,即分布退化成一点 用T乘var(X)使TVar(x)→a2。O、o记号随机变量:Op,Op;非随机变量:O,o 设{an}和{bn}是两个实数序列: 定义2.4an=O(bn),读作an是大Obn,若比值|an/bnl对大的n都有界;或,存在 个数K和一个整数n(K)使得当n大于n(K)后总有an|>K|bn|。即,{an}和比较的序 列{bn}有相同的阶 定义2.5an=o(bn),读作an是小obn,若比值lan/bn|收敛于零;或,vε> 0,彐n(),使得当n>n(a)时,就有lan|<εn|。即,{an}和比较的序列{bn}有更小的 阶 想法是比较{bn}对{an}近似的阶或量。一些重要的{bn}是bn=n-1,bn=n-1/2,bn=n,b2= 阶的比较是涉及序列的”大N”的性质而与序列的初始值无关 (1){an}的值是无穷或是对有限个n没有定义,它是不受此影响的 (2)若|anl表示向量an的长度,即 (24)和(2.5)都可用于向量序列{an} ()若c是非零常数,则an=O(bn)与an=O(cbn)是等价的; (4)an=0(1)表示an→0,an=0(1)表示对某个K,只要n充分大就有|an≤K,即lan 本质上是界的 (5)an=O(an)总成立2.11 渐近方法 • 选择参数估计量的准则不同:经典方法或者以最小二乘，或者以最大或然为准则，求解参 数估计量；贝叶斯方法则需要构造一个损失函数，并以损失函数最小化为准则求得参数估 计量。 贝叶斯定理 g(θ |Y ) = f(Y |θ )g(θ) f(Y ) (2-36) 2.11 渐近方法 来自[16]第十四章渐近方法。 渐近分布 定义 2.3 (渐近分布) 用 T1 < T2 < · · · < TN 表示连续递增样本容量，设在每个样本容量 Ti 下重复抽样，则每个 XTi 都有自己的样本均值和方差利用递增样本可以求得随机样本序列 XT = {XT1 , · · · , XTN }，其中每个元素是相应样本容量下的一个随机变量。当 TN → ∞ 时，这 些分布收敛于某一分布，则称该分布为渐近分布或极限分布。 相应的，可建立渐近期望和渐近方差概念。 问题 2.1 lim E[XT − E(XT )]2 = 0，即分布退化成一点。 用 T 乘 V ar(XT ) 使 T V ar(Xˆ) → σ 2。O、o 记号 随机变量： Op, op；非随机变量: O, o。 设 {an} 和 {bn} 是两个实数序列： 定义 2.4 an = O(bn) ，读作 an 是大 Obn，若比值 |an/bn| 对大的 n 都有界；或，存在 一个数 K 和一个整数 n(K) 使得当 n 大于 n(K) 后总有 |an| > K |bn|。即，{an} 和比较的序 列 {bn} 有相同的阶。 定义 2.5 an = o(bn) ，读作 an 是小 obn，若比值 |an/bn| 收敛于零；或，∀ε > 0，∃n(ε)，使得当 n > n(ε) 时，就有 |an| < ε |bn|。即，{an} 和比较的序列 {bn} 有更小的 阶。 想法是比较 {bn} 对 {an} 近似的阶或量。一些重要的 {bn} 是 bn = n −1 , bn = n −1/2 , bn = n, bn = n log n。 阶的比较是涉及序列的”大 N”的性质而与序列的初始值无关。 (1) {an} 的值是无穷或是对有限个 n 没有定义，它是不受此影响的； (2) 若 kank 表示向量 an 的长度，即 kank = sX i a 2 ni (2-37) (2.4)和(2.5)都可用于向量序列 {an}； (3) 若 c 是非零常数，则 an = O(bn) 与 an = O(cbn) 是等价的； (4) an = o(1) 表示 an → 0，an = O(1) 表示对某个 K，只要 n 充分大就有 |an| ≤ K，即 |an| 本质上是界的； (5) an = O(an) 总成立； - 18 -