第五章：随机变量的收敛性

第五章：随机变量的收敛性 • 随机样本：IID样本， • 统计量：对随机样本的概括 • Y为随机变量，Y的分布称为统计量的采样分布 • 如：样本均值、样本方差、样本中值… • 收敛性：当样本数量n趋向无穷大时，统计量的变化 • 大样本理论、极限定理、渐近理论 • 对统计推断很重要

收敛性 • 主要讨论两种收敛性 • 依概率收敛 • 大数定律：样本均值依概率收敛于分布的期望 • 依分布收敛 • 中心极限定理：样本均值依分布收敛于正态分布

例1：依概率收敛 • 概率的频率解释：随着观测次数n的增加，频率将会逐渐稳定到概率 • 设在一次观测中事件A发生的概率为 • 如果观测了n次，事件A发生了次，则当n充分大时，A在次观测中发生的频率逐渐稳定到概率p。 • 那么 • 不对，若 • 则对于，总存在 ,当时，有成立 • 但若取 , 由于 • 即无论N多大,在N以后,总可能存在n,使 • 所以不可能在通常意义下收敛于p。

例2：依分布收敛 • 考虑随机序列，其中 • 直观：集中在0处，收敛到0 • 但（Chebyshev不等式）

同教材上 两种收敛的定义 • 5.1 定义：令为随机变量序列，X为另一随机变量，用Fn表示Xn的CDF，用F表示X的CDF • 1、如果对每个，当时， • 则Xn依概率收敛于X ，记为。 • 2、如果对所有F的连续点t，有 • 则Xn依分布收敛于X ，记为。

两种收敛的定义 • 当极限分布为点分布时，表示为 • 依概率收敛： • 依分布收敛：

其他收敛 • 还有一种收敛：均方收敛（L2收敛， converge to X in quadratic mean） • 对证明概率收敛很有用 • 当极限分布为点分布时，记为 • 对应还有：L1收敛（converge to X in L1）

其他收敛 • 依概率收敛 • 随机变量序列，当对任意， • 则称随机变量序列几乎处处依概率收敛到X（converge almost surely to X），记为： • 几乎处处收敛：比依概率收敛更强或或

各种收敛之间的关系 • 点分布，c为实数 Point-mass distribution Quadratic mean probability distribution (L2) L1 almost surely 反过来不成立！

例：伯努利大数定律 • 设在一次观测中事件A发生的概率为，如果观测了n次，事件A发生了次，则当n充分大时，A在次观测中发生的频率逐渐稳定到概率p。 • 即对于， • 表示当n充分大时，事件发生的频率与其概率p存在较大偏差的可能性小。

例：5.3 • 令 • 直观：集中在0处，收敛到0 • 依概率收敛：（Chebyshev不等式）

例：续 • 依分布收敛：令F表示0处的点分布函数，Z表示标准正态分布的随机变量

收敛的性质

证明：根据Cheyshev不等式 弱大数定律（WLLN） • 独立同分布（IID）的随机变量序列，方差，则样本均值依概率收敛于期望，即对任意 • 称为的一致估计（一致性） • 在定理条件下，当样本数目n无限增加时，随机样本均值将几乎变成一个常量 • 对样本方差呢？依概率收敛于方差

样本方差依概率收敛于分布的方差

强大数定律（SLLN） • 独立同分布（IID）的随机变量序列，方差，则样本均值几乎处处收敛于期望，即对任意

例：大数定律 • 考虑抛硬币的问题，其中正面向上的概率为p，令表示单次抛掷的输出（0或1）。因此 • 若共抛掷n次，正面向上的比率为。根据大数定律， • 但这并不意味着在数值上等于p • 而是表示当n很大时，的分布紧围绕p • 令，若要求，则n至少为多少？ • 解：

中心极限定理(Central Limit Theorem, CLT) • 独立同分布（IID）的随机变量序列, ，则样本均值近似服从期望为方差为的正态分布，即其中Z为标准正态分布或也记为 • 无论随机变量X为何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布。正态分布很重要 • 但近似的程度与原分布有关 • 大样本统计推理的理论基础

中心极限定理 中心极限定理试验 http://jyjs.gzhu.edu.cn:8080/skills/portal/resources/65995/67826/entryFile/swf/zhongxinjixian.htm

例：中心极限定理 • 每个计算机程序的错误的数目为X， • 现有125个程序，用表示各个程序中的错误的数目，求的近似值 • 解：

中心极限定理的应用之一—二项概率的近似计算 • 设是n重贝努里试验中事件A发生的次数，则，对任意，有 • 当n很大时，直接计算很困难。这时如果不大（即p<0.1，np<5）或不大，则可用Poisson分布来近似计算

中心极限定理的应用之一—二项概率的近似计算（续）中心极限定理的应用之一—二项概率的近似计算（续） • 当p不太接近于0或1时，可根据CLT，用正态分布来近似计算 • 根据CLT，德莫弗—拉普拉斯定理

中心极限定理的应用之一—二项概率的近似计算（续） • 例：已知红黄两种番茄杂交的第二代结红果的植株与结黄果的植株的比率为3:1，现种植杂交种400株，求结黄果植株介于83到117之间的概率。 • 由题意：任意一株杂交种或结红果或结黄果，只有两种可能性，且结黄果的概率 • 种植杂交种400株，相当于做了400次贝努里试验，记为400株杂交种结黄果的株数，则 • 当n=400较大时，根据CLT，

中心极限定理的应用之一—二项概率的近似计算（续） • 例：某单位内部有260架电话分机，每个分机有4%的时间要用外线通话。可以认为各个电话分机用不同外线是相互独立的。问：总机需备多少条外线才能以95%的把握保证各个分机在使用外线时不必等候？ • 一个分机使用外线的概率 • 260个分机中同时使用外线的分机数 • 设总机确定的最少外线条数为x, • 则根据CLT，

中心极限定理 • 标准差通常不知道，可用样本标准差代替，中心极限定理仍成立，即 • 其中

中心极限定理 • 无论随机变量X为何种类型的分布，只要满足定理条件，其样本均值就近似服从正态分布 • 但近似的程度与原分布有关 • 正态近似的程度：Berry-Esseen定理 • 若，则

多元分布的中心极限定理 • 令为IID随机向量，其中 • 协方差矩阵为，令样本均值向量为 • 则。，均值向量为，其中

Delta方法 • 随机变量的变换的中心极限定理 • 假定，且g可导， • 则 • 换句话说，

例： • 令为IID， • 其均值和方差（有限）分别为 • 则根据CLT： • 假设 • 则利用Delta方法，有

Delta方法 • 多元变量情况 • 假设为随机向量序列， • 且， • 令且 • 令表示时的值，假设中的元素非0，则

例： • 令为IID随机向量， • 其均值为，方差为 • 令，根据CLT： • 定义，其中 • 所以则

下节课内容： • 作业： • Chp5：第2、6题 • Chp6：统计推断概述

第五章： 随机变量的收敛性