• 经验分布的一致收敛及其在Non Free Lunch定理的极限情况中的应用

    分类: 统计学 >> 数理统计学 分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2024-01-08

    摘要: No Free Lunch(NFL)定理是统计学习理论的一个重要结果,依据贝叶斯建模可以推得损失/效用函数的期望与预测函数的假设空间的选取有关。若认为真实的预测函数空间是不可知的,则任意选择的假设函数空间都不一定得到最优的损失函数的期望。本文对NFL定理的极限情况进行分析,利用分布的一致收敛性,即Glivenko-Cantelli定理的一种局部形式得到——在一定情况下的确定性与非确定性预测问题中,当样本量趋于无穷大损失/效用函数的期望与假设函数空间的具体选择无关。此项工作的一个副产物是利用本文得出的分布的一致收敛性的局部形式可以推得分布的总变差(total variation)一致收敛性。此前该性质一般是认为不存在的。

  • Copula熵:理论和应用

    分类: 数学 >> 统计和概率 分类: 统计学 >> 数理统计学 分类: 信息科学与系统科学 >> 信息科学与系统科学基础学科 提交时间: 2023-11-29

    摘要: 统计独立性是统计学和机器学习领域的基础性概念,如何表示和度量统计独立性是该领域的基本问题。Copula理论提供了统计相关关系表示的理论工具,而Copula熵理论则给出了度量统计独立性的概念工具。本文综述了Copula熵的理论和应用,概述了其基本概念定义、定理和性质,以及估计方法。介绍了Copula熵研究的最新进展,包括其在统计学的九个基本问题(结构学习、关联发现、变量选择、因果发现、系统辨识、时延估计、域自适应、正态性检验和双样本检验等)上的理论应用。讨论了前四个理论应用之间的关系,以及其对应的深层次的相关性和因果性概念之间的联系,并将Copula熵的(条件)独立性度量框架与基于核函数和距离相关的同类框架进行了理论对比,又通过仿真和实际数据实验评估验证了Copula熵的实际优越性。简述了Copula熵在理论物理学、天体物理学、理论化学、化学信息学、材料学、水文学、气候学、气象学、环境学、生态学、动物形态学、农学、认知神经学、运动神经学、计算神经学、心理学、系统生物学、生物信息学、临床诊断学、老年医学、精神病学、公共卫生学、经济学、管理学、社会学、教育学、计算语言学、新闻传播学、法学、政治学、军事学、情报学,以及能源工程、食品工程、土木建筑、交通运输、制造工程、可靠性工程、化学工程、航空航天、车辆工程、电子工程、通信工程、高性能计算、测绘遥感和金融工程等领域的实际应用。

  • 排序下PPS抽样估计量的修正与应用

    分类: 统计学 >> 数理统计学 提交时间: 2018-09-26

    摘要: 受许多事物具有齐夫现象的启发,本文提出了排序后PPS抽样方法,并给出了修正汉森-赫维茨估计量及其方差。在此过程中本文解决了,长期以来抽样调查实践中将重要单元直接入样时,多少重要单元直接入样没有明确方法的问题,本文给出了理论依据和具体的确定方法。最后通过一个例子和中国城市人口抽样调查的案例,展示了修正汉森-赫维茨估计量的优势,并对这一研究方法做了总结和展望。