【#文档大全网# 导语】以下是®文档大全网的小编为您整理的《第5,6讲课本翻译》,欢迎阅读!
P65
第五讲:二项抽样分布
5.1基本前提
什么引发了二项抽样分布,我们做出了如下的思考:
1.对于我们而言,我们拥有一个很大的总体,这个总体由两类客体组成,通常将其归类为“成功”和“失败”;
2.我们从总体中随机抽取n个人样本条目,感兴趣的样本统计量是X,X为在抽样中成功的次数;
3.我们希望用X去推断未知参数P,P表示在总体中成功所占的真实比例。
总体包含两类客体 成功和失败 P=成功的概率 (感兴趣的参数,值未知)
X=n个样本中成功的次数
那么X可能的分布会是什么?我们该如何来计算关于X的概率呢?
P66
二项抽样分布可以用来模拟关于在一次抽样中所观测到的成功次数的可能性和几率,它具有广泛的适用性。在我派生这个结论之前,我将提供几个应用二项分布的不同实例。
例一 掷硬币:假设你掷一枚均匀的硬币10次,由多少机会你恰恰能够看到四次正面向上?九次正面呢?全都是正面向上呢?
例二 随机猜测:假定你参加一场考试,共有5道单项选择题,每个问题有四个备选答案(其中只有一个是正确的),假设你未做任何备考准备,因此你只能完全随机地猜测每一个问题的答案,那么你恰恰猜对2道题的机会有多大?如果60﹪为及格线,你考试失败的概率又是多少呢? 例三 公共民意调查:假定奥巴马的公众支持率的真实值为62﹪,即62﹪的美国公民对奥巴马在总统任职期间的表现满意。如果你随机抽取1000名美国公民,你的样本引起关于奥巴马支持率的估计的边际误差在±3﹪之内的概率是多少?即产生的样本估计值在59﹪到65﹪之间。
例四 质量控制:一种制造程序如果其产品不超过5﹪的次品则被认为是在“控制之内”。一位质量控制工程师随机抽取了40件,在其中发现了3件次品,那么该程序是否该被宣布“失控”了呢?
例五 假期销量数据:以下是收集到的从十月到十二月美国多个商铺威瑞森手机卖场手机周销量中位数的数据,这12个星期各卖场手机销量的平均数如下:45, 32,
1
39, 29, 64,55, 38, 212, 187, 124, 320, 188.去年每个卖场每周假日销量的中位数是100部,是否有充分的依据来推断今年的销量超过了去年?
P67
5.2 二项分布的推导
我们从上述实例中的随机猜测问题开始,当我们随机猜测10次时,每一个结果将会是一个“对”或“错”,假设我们定义正确答案为“成功(success)”,那么在每一个问题上得到正确答案的概率是:
p = P(success) = P(正确答案) = ¼ = 0.25
从总体的角度来看,如果你继续回答令人作呕的试题的话,你可能认为P是你可能猜中正确答案次数的真实比例。 那现在做一次这个实验,随机猜测着5道题,你将会看到一个由正确答案(用“C”表示)和错误答案(用“W”表示)所组成的排列,用X表示在测试中正确回答的个数,假定你看见这样的结果发生:
WWCCW
这个排列结果发生的概率是多少?因为它是一个由独立输出结果构成的排列,基础概率规则可以用来解释这个排列如下,
P(WWCCW) = P(W) × P(W) × P(C) × P(C) × P(W)
= 0.75 × 0.75 × 0.25 × 0.25 × 0.75
= (0.25)2(0.75)3 = 0.02636.
这是在5道题中猜对2道的概率吗?即这是P(X = 2)吗?不是。为什么不是呢?因为这仅仅只是让我们可以可以看到2个“C”和3个“W”的一种情况下的排列,特别是排列WWCCW指的仅仅是我们把问题3和4答对的排列,那如果我们把问题1和4答对是呢?或者2和5呢?或者3和5呢?这些都是X=2时的情形。
组合 为了正确地计算得到2个正确答案和3个错误回答的概率,我们必须找出由多少种方法我们可以在5道题中成功的猜对2道题,这是所有可能的排列:
CCWWW CWCWW CWWCW CWWWC WCCWW WCWCW WCWWC WWCCW WWCWC WWWCC
数学的方法来计算总共有多少种组合方法是通过运用二项式系数:
nn!xx!(nx)!
此时:n!=n(n-1)(n-2)„3·2·1(定义:0!=1)
nx被读作“n选x”,特别地,从5道题中2道选中正确答案的组合数被
表达为:
P68
2
55!5!5432110 225-2)!2!3!21321!(
因此,在5道题中恰好2道选中正确答案的概率是:
523
P(X = 2)=0.2636 0.250.75100.026362
(即有26.4﹪的可能你会用猜的方式恰好在5个问题中做对2个题)
希望你可以看出结构概率如何得来,这样的话,找出这个例子中所有可能结果的真实概率将会变得很简单,即就是X=0,1,2,3,4,5时的概率,如下:
505
P(全错) =P(X = 0)=0.250.750.2373 0514
P(对一道) =P(X = 1)=0.250.750.3955 1523
P(对两道) =P(X = 2)=0.250.750.2636 2532
P(对三道) =P(X = 3)=0.250.750.0879 3541
P(对四道) =P(X = 4)=0.250.750.0146 4550
P(全对) =P(X = 5)=0.250.750.0009 5
注意:以上所有的概率加和为1,确认这是一个合规的概率分布,所有这些概率一起共同组成了n=5,p=0.25的二项抽样分布,即X ~ Bin(5, 0.25).
3
二项抽样分布
1. 我们从一个仅由“成功”和“失败”构成的大的总体中随机抽取n个样
本,设P=总体中成功的真实比例。 2. X=在样本中观察到成功的数目。
如果以上条件满足,那么X被认为服从参数为n和p的二项抽样分布。X ~ Bin(n, p)概率分布形式如下:
nxnx
P(X = x)= X=0,1,2,„,n. p1px
我们可以用X ~ B (n, p)来简化表示。
二项分布X ~ Bin(n, p)的均值(期望值)和标准差 二项抽样分布的平均值是:
P69
二项抽样分布的标准差是:5.3 在R中运用二项分布计算器
P69
在R,我们可以选择用不同的功能对二项式分布进行加工: dbinom(x,n,p)功能将会计算当X~B(n,p)时的P(X = x)。换言之,这个功
能可以得出关于各个独特的X的特定概率。
pbinom(x,n,p)功能将会计算当X~B(n,p)时的P(X≤ x)。换言之,这个
功能可以得出所有X≤ x的累积概率。这叫做二项累积分布功能,也可记为CDF.
rbinom(nreps,n,p)功能将会随机形成X~B(n,p)的nreps值,这个功能
是为了模拟研究的目的而产生的。 这是一些例子:
例如:随机猜测。假定你参加一场考试,共有5道单项选择题,每个问题有四个备选答案(其中只有一个是正确的),假设你未做任何备考准备,因此你只能完全随机地猜测每一个问题的答案。 那么你恰恰猜对2道题的机会有多大?
> dbinom(2,5,0.25) # P(X=2) where X~Bin(5,0.25). We did this earlier. [1] 0.2636719
> dbinom(0:5,5,.25) # All individual probability values for Bin(5,0.25) [1] 0.2373046875 0.3955078125 0.2636718750 0.0878906250 0.0146484375 [6] 0.0009765625
如果60﹪为及格线,你考试失败的概率又是多少呢?
如果我们做对的题数少于5道之中的3道将会考试失败,即:如果X=0,1,2 且X ~ B(5, 0.25),因此:我们用R来计算当X~B(n,p)时的P(X≤ 2):
> pbinom(2,5,0.25) # P(X<=2) where X~Bin(5,0.25) [1] 0.8964844
4
那么通过这次考试的概率是多少呢?
> 1-pbinom(2,5,0.25) # P(X>=3) = 1–P(X<3) = 1–P(X<=2) [1] 0.1035156
注意X是离散的,所以我们必须留意正确地定义概率。
P70
例如: 公共民意调查:假定奥巴马的公众支持率的真实值为62﹪,即62﹪的美国公民对奥巴马在总统任职期间的表现满意。如果你随机抽取1000名美国公民,你的样本引起关于奥巴马支持率的估计的边际误差在±3﹪之内的概率是多少?即产生的样本估计值在59﹪到65﹪之间。 解决方案。我们设X =调查的1000人中支持奥巴马的人数。且X ~B(1000,0.62)。如果有59%到65%之间的样本支持奥巴马,这相当于看到一个x的值介于590(59%×1000)和650(65%×1000)。所以,我们需要计算:P(590<x<650)。 因此,我们必须用一个二项累积分布功能(CDF)的形式来表示。所以,我们重写如下:
P(590 < X < 650) = P(591≤X≤649) = P(X ≤649) – P(X≤590) 现在,把上式用R来实现:
> pbinom(649,1000,0.62) - pbinom(590,1000,0.62) [1] 0.9454456
有近95%的把握,样本估计会在真实的公众支持率的±3%之内。这是一个很好的估计。(用统计术语来说,我们对于这个估计有95%的置信度) 此时,看几个不同的二项分布图形可能是具有指导意义的。
这将有助于我们建立起关于全部的二项式概率模式的整体外观的概念。我们可以 通过R模拟——具有计算机随机产生大量的随机样本计算X的每一取值的概率值。模拟步骤如下:
1. 从总体中随机抽取一个容量为n,成功比例为p的样本; 2. 计算X,X为容量为n的样本中成功的次数;
3. 重复步骤1和2一个非常大的次数,例如10000次;
4. 做一个10000个X观测值的直方图。这将是一个X~B(n,p)的抽样分布图形非
常接近的逼近。 例如:随机猜测。我们模拟进行上述考试10000次并且得出所得成绩的抽样分布。我们从服从B(5,0.25)的分布中随机产生10000个样本并且看其概率模式:
> nreps <- 10000 > n <- 5 > p <- .25
> x <- rbinom(nreps,n,p) > hist(x,
+ breaks=seq(-0.5,n+0.5,1), + probability = TRUE,
+ main = 'Binomial distribution, n=5, p=.25')
P71
5
你可以看到,分布是高度离散的(因为X只能取值为0,1,2,3,4 ,5。它是右偏的由于P = P(成功)相对较低。注:这个模拟得到的概率几乎恰好是概率的真值(见5.2节)。
例如:质量控制 (见第5.1节中的第四例)让我们从一个勉强算是受控的生产过程模拟抽取10000个样本,每个样本有40个产品,即是该程序恰好有5%的次品率,以此来看一个样本容量为40且X表示次品数的抽样分布是怎样的? 我们从B(40,0.05)分布中随机生成10000个样本并且看其概率模式:
> nreps <- 10000 > n <- 40 > p <- .05
> x <- rbinom(nreps,n,p) > hist(x,
+ breaks=seq(min(x)-0.5,max(x)+0.5,1), + probability = TRUE,
+ main = 'Binomial distribution, n=40, p=.05')
6
P72
你的意见呢?分布是右偏。分布较少的“颗粒”,即,虽然每个样本有40件产品,X更有可能的取值为(0,1,2,3,„40,)。但看,更值得关注的事情是即使是在受控制的生产程序中也很可能在容量为40的样本会看到更多的3或更多的次品,如果你确实观察到了3个次品,这会影响你关于是否称这个过程“失控”的决定!
例如:公共民意调查 让我们模拟随机抽取10000个样本,每个样本包含1000个美国人,并找到x,x =每个样本的1000个人中支持奥巴马的人数。这样去做:
> nreps <- 10000 > n <- 1000 > p <- .62
> x <- rbinom(nreps,n,p) > hist(x,
+ breaks=seq(min(x)-0.5,max(x)+0.5,1), + probability = TRUE,
+ main = 'Binomial distribution, n=1000, p=.62')
7
嗯,这是一个二项式分布吗?当然。但它看起来很像一个正态分布!这个例子为我们提供了关于二项式有价值的洞察力:
二项分布的正态逼近
假定X~B(n,p)的抽样分布,如果同时满足:X~B(n,p)的分布将会被服从:均值:μ= np标准差: 布很好的逼近。即:
和
;那么
的正态分
P73
P73
例如:公众民意调查 让我们重温奥巴马的公众支持率的问题。早些时候,我们发现使用二项抽样分布和R
P(590 < X < 650) = P(X≤649) – P(X 5≤90) = 0.9454456 让我们使用正态逼近重做这个二项式。因为:
并且
;这将会产生一个很好的逼近,逼近正态曲线是:
使用在第一个讲笔记中提到的pnorm()功能,这就是正态逼近:
> pnorm(649,620,15.35)-pnorm(590,620,15.35) [1] 0.9452438
8
效果很好,是吗?
我们甚至可以通过将连续性校正提高一点逼近效果。这可以尽管x是一个真正的离散变量(二项分布就是如此)但我们使用的是一个连续的分布(正态分布)近似得到一个概率。连续性校正是一个关于正确地应用0.5作为到590和650的分割点的“模糊因子”:
> pnorm(650-0.5,620,15.35)-pnorm(590+0.5,620,15.35) [1] 0.9453721
x = 650的值是不包括在概率计算中的,所以我们使用pnorm()计算的左侧区域时“推”边界下降到649.5。同时,值x = 590也不包括在概率计算中…看看你是否能理解为何在这个例子中连续性校正意味着推动边界上升到590.5的原因。 下面是一个作为二项逼近的正态曲线面积的直方图。
P74
第5讲练习
使用R做以下各题。尽可能综合地使用R代码指令, 同时尽可能高效。 1。假设你收集了一个掷均匀的硬币10次的随机样本。设X =你看见硬币正面朝上的次数。
A. X的可能的值有哪些?
B. X的分布是什么?要求给出抽样分布的参数值; C. 在10次掷硬币中你恰恰看到4次正面朝上的机会是多少? D. 在10次掷硬币中你最多看到4次正面朝上的概率是多少? E. 在10次掷硬币中你看到八次或更多次正面朝上的机会是多少?
F. 如果只是偶然的,你看到的10次掷硬币中都得到了正面朝上的概率又是多少呢? G. 根据第F问。假设你随意扔你所相信的那个均匀的硬币10次的时候,你的确看到了10次正面朝上。你能做出一个关于这个硬币的推理吗?
9
2.今天环顾整个教室。有多少种方法能够供我随机选一个由五个学生组成的样本呢?
3。下面的场景没有符合Y作为一个二项抽样问题。你能否判定为什么它违反了二项分布要求?
“在12名男性申请一份邮政服务工作中,有9名男性申请者的配偶有工作。假设两个进一步考虑的申请人是随机选择的。让Y =所选择的申请者中配偶有工作的人数。”
4。一家广告公司进行广告宣传活动旨在让在弗吉尼亚州的消费者了解一个新的产品。在活动完成后,该机构声称,在弗吉尼亚州的所有消费者中的20%已经了解到了该产品。该产品的经销商调查了1000消费者发现,其中150个人知道该产品。
A.让W表示从1000个采样的消费者中知道这个产品消费者的人数。那么W的分布是什么?
B.找出在弗吉尼亚州随机抽取100名消费者中知道该产品的人数小于等于150人的概率(即,假设该机构20%的说法是正确的)。
P75
第六讲:中位数或分位数的二项检验
6.1 我们为什么要这样做呢?
回顾第4讲的假期手机销量数据的例子:以下是收集到的从十月到十二月美国多个商铺威瑞森手机卖场手机周销量中位数的数据,这12个星期各卖场手机销量的平均数如下:
45, 32, 39, 29, 64,55, 38, 212, 187, 124, 320, 188.
去年每个卖场每周假日销量的平均数是100部,问题是:是否有充分的依据来推断今年的每个卖场每周的销量超过了去年?
根据惯例测试运行这样问题的方法通常是单样本t检验。对于给定的问题,正确的假设是:
H0: μ = 100 Ha: μ > 100
在μ是在威瑞森手机卖场从十月到十二月平均每周新手机销量的真实值。我们先前在R中运行过这个测试(这里的代码):
> sales <- c(45,32,39,29,64,55,38,212,187,124,320,188) > t.test(sales, mu=100, alternative="greater")
但需要注意的是:我们未能满足t检验所需的假设,这样的结果是值得怀疑的。我们现在要做的就是开发一种关于在分布中位置的非参数版本的假设检验。(例如:均值是一个分布的中心位置)。
P76
10
6.2 总体中位数M的二项检验(或普通的分位数)
在非参数统计中,我们通常引用的不是一个变量的值是什么,而是其与其他值的位置之间的关系。由于这个原因,在这种情况下中位数M是比均值μ更加有效的测量分布中心的尺度,记得:中位数是分位数的一个特例。
Pth:p分位数是在分布中有p%的分布在其之下,(1-p%)的分布在其上方的一个值。
所以在中位数的例子中,分布有50%在中位数以下和50%在中位数以上。让我们称50th分位数为总体的P50,即m = P50。我们开发一个关于中位数M的检验,然后我们可以很容易推广到其他百分位数(如80%分位数P80,第一个四分位数Q1,等)。
一个对真正中位数M的“精确”检验
假设。假设我们有一个来自于连续型总体的一个容量为n的随机样本X1,X2,……Xn。要考虑的假设如下:
H0: M = M0 . Ha: M > M0 (上侧检验) H0: M = M0 . Ha: M < M0 (下侧检验) H0: M = M0 Ha: M ≠ M0 (双边检验)
其中M0是总体中位数的假设值。
检验统计量:让T =在随机样本观测值超过M0的数量。
检验统计量在原假设成立时的分布:在这里,你真的需要了解潜在的假设检验的过程,知道是怎么回事。如果事实上H0:M=M0为真,那么在我们的随机样本中的每个Xi有0.50的概率小于或者大于M0。因此,如果H0的确是真实的,并且我们收集了n个这样的随机观测值,让T = 观测值超过M0的数量,那么T将服从参数为n和P = 0.50的二项抽样分布,我们说原假设成立时T的分布是 T~B(n,0.50)。
p值:根据定义,任何假设检验的P值是在已知观测下拒绝原假设H0(和接受Ha)的最小显著性水平。在这个例子中,P值是原假设成立时的分布T~B(n,0.50)的一些概率。我们可以把这个值和预设的显著性水平相比较。 该检验的假设只有两个: 1.样本是随机的。
2.总体中的样本数据是连续型的。 现在是举例时间:
P77
例子 假期销量数据: 以下是收集到的从十月到十二月美国多个商铺威瑞森手机卖场手机周销量中位数的数据,这12个星期各卖场手机销量的平均数如下: 45, 32, 39, 29, 64,55, 38, 212, 187, 124, 320, 188.
11
去年每个卖场每周假日销量的中位数是114部,问题是:是否有充分的依据来推断今年的每个卖场每周的销量低于去年?显著性水平=0.05。 解决方面:让M=今年相同时期周销量的真实数据,假设是:
H0: M = 114 Ha: M < 114
我们有一个n=12周销量数据的随机样本,其中有5星期的销量超过了114部。所以我们的检验统计量是T =5,在原假设下T~B(12,0.50)。
这已经是累积分布功能计算出来的P(T≤5)的值,所以我们可以直接用R去计算概率。
> sales <- c(45,32,39,29,64,55,38,212,187,124,320,188) > T <- length(sales[sales>114]) > pvalue <- pbinom(T,12,0.5) > pvalue [1] 0.387207
P值是0.3872,所以原假设H0在给出数据时是相当地“花言巧语”的。但是,也没有充分的理由支持当前周销量的中位数小于114部。
我们用R的binom.test()功能完成同样的工作,具体方式如下:
binom.test(x, n, p = 0.5,
alternative = c("two.sided", "less", "greater"), conf.level = 0.95)
其中X是成功数(在这个例子中是T)。P = 0.5是默认的,但如果你想也可以改变。指定备择假设Ha:
> T <- length(sales[sales>114]) > binom.test(T,12,alternative="less") Exact binomial test data: T and 12
number of successes = 5, number of trials = 12, p-value = 0.3872 alternative hypothesis: true probability of success is less than 0.5
P78
95 percent confidence interval: 0.0000000 0.6847622 sample estimates: probability of success 0.4166667
请注意,R表述的是从p方面的假设,而不是中位数M方面的。这是很有效的,如果你还是不清楚它的具体含义,可以这样想:
•如果H0:M = 114是真的,那么T服从参数为n = 12和P = 0.5的二项分布。
12
•如果Ha:M<114是真的,那么T服从参数为n = 12, 但P<0.5的二项分布,。 因此,检验的假设H0:M = 114与Ha:M<114完全等价于检验假设H0:P = 0.5和Ha:P < 0.5。(记住:M = P50,所以百分位数的条款,我们的假设可以写成H0:P50 = 114与Ha:P50<114。)
例子:ACT得分 一个抽取的32名迈阿密大学学生以及他们的ACT得分记录的随机样本:
28, 27, 29, 27, 29, 31, 32, 30, 34, 30, 27, 25, 30, 32, 35, 32 23, 26, 27, 33, 33, 33, 31, 25, 28, 34, 30, 33, 28, 26, 30, 28
ACT复合得分为25是全国范围的80%分位数,构造一个假设检验在=0.05水平下看是否有充足的依据可以推断迈阿密大学学生的ACT得分的80%分位数高于全国水平(即25分)。
解决方案。假设H0:P80 = 25与Ha:P80 > 25。我们的检验统计量T是采样的迈阿密大学学生ACT得分超过25分的人数。所以,如果H0是真的,T ~B(32,0.20)。我们在R中运行二项检验:
>
x<-c(28,27,29,27,29,31,32,30,34,30,27,25,30,32,35,32,23,26,27,33,33,33,31,
+ 25,28,34,30,33,28,26,30,28) > T<-length(x[x>25])
> binom.test(T,length(x),p=0.2,alternative="greater") Exact binomial test data: T and length(x)
number of successes = 29, number of trials = 32, p-value < 2.2e-16 alternative hypothesis: true probability of success is greater than 0.2 95 percent confidence interval: 0.7751839 1.0000000 sample estimates: probability of success 0.90625
我们可以看到我们的检验统计量T=29,并且P ≈0,所以如果检验在=0.05水平下,即有充足的依据可以推断迈阿密大学学生的ACT复合得分的80%分位数高于全国水平(即25分)。
P79
置信区间。binom。test()也给出了一个置信下限为95%的 “成功”的概率P,这在我们的例子中是指由T(即“成功”的定义是“一个迈阿密大学学生的ACT复合得分超过25”)。
在上面的例子中,计算的置信区间CI是(0.775,1.000)。实际上,只有一个有效的下限(0.775)被提供在这里因为我们使用了alternative=”greater”
13
选项;这样做告诉R我们感兴趣的仅仅是对P确定95%置信下限(有时被称为单侧的置信区间)。在这个例子中你可以忽略给出的上限为“1.00”。如果你想要典型的双边置信区间CI(即具有有效上限和下限),你需要替换使用alternative=”two.sided”的选项。
在先前的输出中,结果表明:我们可以有95%的置信度至少迈阿密大学学生总体 的77.5%的学生ACT综合得分超过了25分。
P80
第6讲练习
使用R做以下练习。尽可能通用地使用R代码指令,同时尽可能高效。 1。美国成年人每天平均睡7.8个小时。你认为大学生的睡眠时间低于这个平均值,所以你收集了由十五个学生组成的随机样本和他们日常的睡眠量数据(单位:小时),数据如下:
6.7 4.5 6.4 8.6 5.5 8.2 5.9 7.5 4.4 6.0 6.3 8.3 7.3 5.7 10.1
假设我们想看看是否有足够的证据得出结论:迈阿密大学学生日常睡眠量的中位数低于7.8小时(即低于美国成年人日常睡眠量的平均值)。运行一个二项检验解决所研究的问题。对以下所有的要素进行检验: •原假设和备择假设 •检验统计量
•原假设成立时检验统计量的分布 •p值
•在学科背景下得出决定和结论
2.根据R 中的uwecsample数据框,其中包含对UWEC本科生总体抽取样本的最新数据。据说在十年前, 在UWEC学生高中的百分等级的中位数为73.5,即有一半的UWEC学生低于高中班级的73.5th百分位数,和一半学生高于他们高中班级的73.5th百分位数。自那时以来,UWEC管理员声称,他们已经提高了入学标准,所以他们现在相信HSP真实值的中位数高于十年前。 A.检验该宣言使用二项式测试。使用R的内置功能binom test(); B.重复步骤A,但直接使用二项式概率计算器pbinom()计算P值。
C.使用binom.test()功能时选择alternative=”two.sided”选项,你会得到一个双侧的95%置信区间;(注意!)看看你是否可以回溯你所做的一切,看看生成的输出结果,辨别出这个置信区间CI是针对什么而言的?(即它是什么,这置信区间是估计?)。一旦你知道了,那么在上下文中理解和翻译置信区间CI。
14
本文来源:https://www.wddqxz.cn/ea2ca7ee6237ee06eff9aef8941ea76e58fa4a1a.html