分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-03-27
摘要: 大语言模型 (LLMs, Large Language Models) 能够从大量语料的上下文中学习到模式,其包括词语之间的关系、句子的结构甚至更复杂的语义和语用信息。然而,让预训练语言模型生成结构化、严格遵循约定的内容仍然是一项挑战。我们提出了一种引导大模型生成计算机高可用内容的方案,无需微调和额外的神经网络推理,通过提前约定的上下文无关文法 (CFG, Context-Free Grammar) 构建一个采用协程的约束装置,在自回归模型Transformer的解码阶段引导模型采样正确的词元,以构成符合程序约定的形式语言。这将保证计算机程序每次都能把语言模型生成内容解析为期望的数据结构、类型或指令,以便开发人员更容易地将大语言模型纳入具体应用程序。我们在多个任务数据集上进行了实验,包括JSON、Mermaid框图和函数调用表达式生成等任务,结果表明我们的方法能够有效地提高LLMs生成内容对计算机程序的可用性。
分类: 信息科学与系统科学 >> 信息科学与系统科学基础学科 分类: 计算机科学 >> 计算机科学技术其他学科 分类: 工程与技术科学 >> 工程数学 提交时间: 2024-03-26
摘要: 什么智能?是人工智能的核心关键问题之一,但是至今没有一个公认的定义。本文从智能与生命的关系出发提出:智能是生物体的基本能力和特征属性,是一种尽量用最小能量实现最大信息量,通过信息处理来适应环境、维持存在的能力。在此基础上,提出了智能是物质能量与信息的转换能力这一新观点,进一步提出了智能的测度计算方法、平均智能、综合智能等新概念,最后讨论了物质、能量与信息的定量转换关系,指出了智能的上界和能量转换为信息的下界,为便于实际应用,进一步给出一个无量纲的智能测度计算公式。为智能系统定量分析智能的高低给出了可行的计算方法。
分类: 心理学 >> 应用心理学 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-03-23
摘要: 近年来,研究者们已较为一致地认识到中庸思维对心理健康的积极影响,然而其潜在的作用机制还不甚明晰。以往研究表明,当个体能较好地协调代表“利己”的能动动机和代表“利他”的共生动机时,就会拥有相对高的道德中心性水平。道德中心性体现了内部动机系统的平衡状况,其能降低内在动机之间的冲突,促使两种动机相互支持、相互激励。道德中心性或许在中庸思维对心理健康的影响中发挥了潜在中介作用。当前对于个体道德中心性的测量存在较为成熟的评估方法——Values Embedded in Narratives(VEIN),但其涉及到对个人奋斗文本的价值观编码工作,因此测量过程较为复杂且人力成本较高。然而,近几年大型语言模型(比如ChatGPT)的发展显示出了其卓越的上下文理解能力,为心理学领域的文本分析和编码工作提供了新的可能性。本研究希望借助大型语言模型前沿技术,将其应用于心理学研究编码工作,降低个体道德中心性测量过程中所需要的时间以及人力成本,同时探究中庸思维对心理健康的影响机制,了解文化是如何通过影响道德中心性进而影响个体心理健康水平。研究一通过提示工程设计差异化提示词来训练GPT-3.5 Turbo识别个人奋斗中包含的价值观(成就/权力/博爱/仁爱),并对识别准确率、精确率和召回率进行评估,以得到符合要求、满足应用条件的识别模型。在研究二中将上述模型应用于道德中心性的测量中,验证道德中心性在中庸思维对心理健康(抑郁和焦虑)影响中的中介作用。研究结果如下:(1)GPT-3.5 Turbo大型语言模型在识别权力、成就、博爱和仁爱价值观的准确率不低于0.80,展现了ChatGPT在心理学研究中的应用潜力;(2)道德中心性在中庸思维对抑郁/焦虑的影响中起到了中介作用,高中庸思维的个体能更有效地整合能动与共生动机,增强其道德中心性,从而降低个体的抑郁/焦虑水平。综上所述,本研究利用大型语言模型技术突破了传统心理学研究技术上的限制,探究了中庸思维对心理健康的影响机制,验证了道德中心性在其中起到的中介作用。一方面证明了大型语言模型在心理学研究领域的应用潜力,另一方面也加深了我们对文化因素影响心理健康机制的认识,丰富了该领域的理论基础,启示了政策制定者,可以尝试发挥中庸文化优势,倡导重视个人发展同时注重集体福祉的价值观,帮助民众形成协调的思维模式,维护和促进人民精神健康与社会的良性发展。
分类: 心理学 >> 应用心理学 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-03-23
摘要: 近年来,研究者们已较为一致地认识到收入分配不平等对心理健康的影响,然而对于其内在的心理作用机制还不甚明晰。经济环境作为个体所处的宏环境,塑造着人们不同的价值观,使个体拥有不同水平的动机取向。以往研究表明,当个体能较好地协调代表“利己”的能动动机和代表“利他”的共生动机时,就会拥有相对高的道德中心性水平。道德中心性体现了内部动机系统的平衡状况,其能降低内在动机之间的冲突,促使两种动机相互支持、相互激励,帮助个体高效实现个人价值,通过寻找生活意义提高幸福感,进而减少产生心理健康问题的风险。因此,道德中心性或许在收入分配不平等对心理健康的影响中发挥了潜在中介作用。本研究希望探究收入分配不平等是如何通过影响道德中心性进而影响民众的心理健康水平,一方面丰富心理健康领域的理论基础,同时也为心理健康干预提供理论依据,有助于制定针对性的策略,以提升公众的心理福祉。借助社交媒体大数据以及自然语言处理技术,我们利用地区微博用户发布的帖子,通过心理语义词典提取代表群体道德中心性以及群体心理健康水平的词频特征,采用面板数据分析考察收入分配不平等如何通过道德中心性影响地区群体的负面情绪和自杀风险。研究结果证实了道德中心性在地区收入分配不平等对群体负性情绪/自杀风险的影响中起到了中介作用,收入分配不平等程度越高的地区往往伴随着越低的群体道德中心性水平,进而导致该地区群体的负性情绪/自杀风险增加。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2024-03-16
摘要: A novel federated learning training framework for heterogeneous environments is presented, taking into account the diverse network speeds of clients in realistic settings. This framework integrates asynchronous learning algorithms and pruning techniques, effectively addressing the inefficiencies of traditional federated learning algorithms in scenarios involving heterogeneous devices, as well as tackling the staleness issue and inadequate training of certain clients in asynchronous algorithms. Through the incremental restoration of model size during training, the framework expedites model training while preserving model accuracy. Furthermore, enhancements to the federated learning aggregation process are introduced, incorporating a buffering mechanism to enable asynchronous federated learning to operate akin to synchronous learning. Additionally, optimizations in the process of the server transmitting the global model to clients reduce communication overhead. Our experiments across various datasets demonstrate that: (i) significant reductions in training time and improvements in convergence accuracy are achieved compared to conventional asynchronous FL and HeteroFL; (ii) the advantages of our approach are more pronounced in scenarios with heterogeneous clients and non-IID client data.
分类: 天文学 >> 天文仪器与技术 分类: 物理学 >> 核物理学 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-03-10
摘要: The HADAR experiment, which will be constructed in Tibet, China, combines the wide-angle advantages of traditional EAS array detectors with the high sensitivity advantages of focused Cherenkov detectors. Its physics objective is to observe transient sources such as gamma-ray bursts and counterparts of gravitational waves. The aim of this study is to utilize the latest AI technology to enhance the sensitivity of the HADAR experiment. We have built training datasets and models with distinctive creativity by incorporating relevant physical theories for various applications. They are able to determine the kind, energy, and direction of incident particles after careful design. We have obtained a background identification accuracy of 98.6 %, a relative energy reconstruction error of 10.0 %, and an angular resolution of 0.22-degrees in a test dataset at 10 TeV. These findings demonstrate the enormous potential for enhancing the precision and dependability of detector data analysis in astrophysical research. Thanks to deep learning techniques, the HADAR experiment’s observational sensitivity to the Crab Nebula has surpassed that of MAGIC and H.E.S.S. at energies below 0.5 TeV and remains competitive with conventional narrow-field Cherenkov telescopes at higher energies. Additionally, our experiment offers a fresh approach to dealing with strongly connected scattered data.
分类: 心理学 >> 应用心理学 分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-02-29
摘要: 目的 随着网络大数据以及机器学习的方法的发展,越来越多研究结合文本分析与机器学习来预测满意度。在建立生活满意度预测模型的研究中,针对获取大量有效的有标注数据困难的问题,本研究提出基于文本数据增强以优化生活满意度预测模型。 方法 改编大连理工词典后,以357份生活现状描述为原始文本、生活满意度量表自评分为标注,经过EDA和回译进行文本数据增强,利用传统机器学习算法建立预测模型。 结果 结果显示,大连理工词典改编后,各模型预测能力大大提高;数据增强后,仅在线性回归模型上观察到回译和EDA的提升作用。使用原始数据进行训练的岭回归模型预测值与实际值的皮尔逊相关系数最高,达0.4131。 结论 特征提取精度的提升可优化目前的生活满意度预测模型,但对于以词频为特征建立的生活满意度预测模型,基于回译和EDA进行的文本数据增强可能并不十分适用。
分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2024-02-20
摘要: 本文分析了目前LLM存在的主要问题,并提出了具体解决方法,指出了:结合概率的概念化结构模型的表达和计算是关键,并对相关技术—深度语义模型(DSM)进行了简要的讲解,最后列举了后续的重点工作方向。
分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2024-02-20
摘要: OpenAI's Generative Pre-trained Transformer 4 (GPT-4) is a powerful large language model with a certain degree of intelligence in understanding and generating coherent text. We are exploring whether GPT-4 is capable of acting as a die, i.e. generating random numbers. We show that GPT-4 does not appear to generate independent and identically distributed random numbers. Examples imply that GPT-4 tries to compensate for the uniformity of random numbers by sacrificing independence when acting as a die.
分类: 计算机科学 >> 信息安全 提交时间: 2024-01-22
摘要: 随着AIGC技术的快速发展,逼真的伪造人脸视频已经可以欺骗人类视觉感知.因此,大量人脸防伪检测算法被提出用于伪造人脸视频的检测.然而如何有效评估这些伪造检测算法的有效性与可应用性,仍面临着诸多挑战.为有效推动人脸防伪检测成效的量化评估与防伪检测技术迭代发展,本文提出了一项面向人脸视频防伪检测的大规模中文数据评测基准,发布了全球首个CHN-DF中文数据集(https://github.com/HengruiLou/CHN-DF).填补了人脸视频防伪数据集在大规模中文数据方面的空白.本文详细介绍了构建CHN-DF数据集和中文数据评测基准的流程,并通过实验验证了CHN-DF数据集的复杂性和贴近真实场景水平.期望该评测基准能帮助研究人员构建更实用有效的人脸视频防伪检测模型,推动防伪检测领域技术发展.同时,本文指出了中文人脸视频防伪检测基准数据集和防伪检测技术所面临的挑战,提出了未来可能的研究方向,为推动人脸视频防伪检测技术发展提供了有益思路.
分类: 语言学及应用语言学 >> 语言学及应用语言学 分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2024-01-11
摘要: 以GPT系列为代表的大规模预训练语言模型的快速发展,深刻改变了自然语言处理领域的科研与工程范式,对医疗、教育、司法、金融等相关领域产生了深远影响。同时,这也为语言本身的研究带来了一些新的可能性。本文从歧义分析出发,简要评估GPT4、百川2、ChatGLM3等模型对以歧义为代表的复杂语言现象的理解和分析能力。实验结果表明,GPT4可以融合歧义消解和句法分析等方法,有效感知和理解复杂的语言现象。对于百川2,我们可以通过提示词工程引导其对语言现象进行深入思考,在不进行参数优化时,提升其分析能力。此外,通过监测大模型在处理不同语言现象时的内部特征与神经元活动,可以直观展现语言现象与大模型之间的关系。实验结果表明,大语言模型可以辅助人类更好地理解语言的本质,揭示语言现象深层次规律,从而为语言学研究提供新的思路。
分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2024-01-10
摘要: 随着科学技术的发展,脑电信号因为蕴含丰富的生理、心理和病理内容,而被运用与越来越多的领域。经过在脑电信号的数据集上的相关实验表明,本项目实现的基于LSTM模型对阿尔兹海默症的判别取得了较好的结果,平均准确率为93%左右。
分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-01-09
摘要: 不良光照条件下的目标检测是一个重要的图像处理任务,目前的研究主要通过图像增强来减少图像噪声,同时改进网络结构和数据集来适应不良光照条件下的目标检测。然而,很少有人研究不良光照条件对目标检测的具体影响。因此在本文中,我们通过算法生成模拟不良光照条件的数据集,在不同的噪声条件下进行目标检测,统计检测结果,对影响进行研究。由于实验是在模拟数据中进行的,为了保证结果的准确性,我们利用实际场景的不良光照图像对结论进行了验证。
分类: 统计学 >> 数理统计学 分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2024-01-08
摘要: No Free Lunch(NFL)定理是统计学习理论的一个重要结果,依据贝叶斯建模可以推得损失/效用函数的期望与预测函数的假设空间的选取有关。若认为真实的预测函数空间是不可知的,则任意选择的假设函数空间都不一定得到最优的损失函数的期望。本文对NFL定理的极限情况进行分析,利用分布的一致收敛性,即Glivenko-Cantelli定理的一种局部形式得到在一定情况下的确定性与非确定性预测问题中,当样本量趋于无穷大损失/效用函数的期望与假设函数空间的具体选择无关。此项工作的一个副产物是利用本文得出的分布的一致收敛性的局部形式可以推得分布的总变差(total variation)一致收敛性。此前该性质一般是认为不存在的。
分类: 计算机科学 >> 计算机科学技术其他学科 提交时间: 2024-01-08
摘要: 随着传感器和网络技术的飞速发展,大量历史时间序列数据出现,高效准确地进行时间序列预测越来越重要。近年来,将深度学习的思想和技术运用到时间序列预测任务中的方法发展迅速,并取得了许多成果。本文分析了时间序列预测方法的国内外研究现状,论述了时间序列预测所涉及的相关理论,归纳总结了该任务所运用的传统方法、基于机器学习的方法和基于深度学习的方法,重点对比分析了基于深度学习的各方法的优缺点,并由此对基于深度学习的时间序列预测方法进行了展望。
分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-01-07
摘要: Aiming at the exponential growth of solution scale in multiple hypothesis tracking (MHT), a continuous consistency model (CCM) is proposed. The key to improve MHT performance is to improve the effi#2;ciency of branch management. However, due to the inevitable detector failure, when the tree is expanded and each detection is organized as the root node of the new tree, a large number of virtual nodes are used. This leads to rapid growth of branches. Different from previous MHT implementations, CCM divides detection into four categories, in#2;cluding continuous, left continuous, right continuous and discontinuous. Comparative experiments show that CCM has significantly improved the computational efficiency and obtained the most advanced results on MOT challenge benchmark.
分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-01-07
摘要: 本文对特征级数据融合算法进行了分类概述,分布从基于概率统计的融合算法、基于逻辑推理的融合算法、基于特征抽取的融合算法、基于搜索的融合算法和基于神经网络的融合算法做了归纳,并且对数据融合的未来研究方向进行了总结论述。
分类: 计算机科学 >> 计算机应用技术 提交时间: 2024-01-07
摘要: 本文运用YOLO视觉算法对标签进行识别检测,并对实验过程和实验结果进行了论述。
分类: 计算机科学 >> 自然语言理解与机器翻译 提交时间: 2024-01-07
摘要: 多层感知机(MLP)是一种前馈神经网络,通过在网络中加入一个或者更多个隐藏层,克服了线性模型的限制,打开了深度学习的大门。本文利用了多层感知机完成图像分类,在Fashion MNIST数据集上进行了探索,并尝试迁移到MNIST数据集中。在Fashion MNIST上我们进行特征预处理后,选择了不同的优化方法并进行比较,此外分别通过增加丢弃法和权重衰减法等正则化方法,实现了对多层感知机的优化、改进。通过实验表明,适当的特征处理能够提高模型的数值稳定性。动量法显著提高了模型效果,同时权重衰减等方法对提高模型的泛化效果起到了帮助。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2024-01-07
摘要: 由于人工神经网络具有高度非线性描述的特点,这个特点导致了他们被愈来愈广泛的研究和应用,在这些研究和应用当中主要的应用领域就是分类。分类实现的基础是特征分类,所以要进行分类就需要先提取样本的特征。在常见的卷积神经网络中,通常是由输入层、卷积层、池化层、激活层、全连接层,按照一定的次序连接而构成。卷积神经网络的输入层实现的是整个神经网络的输入,在本设计中,训练和推理的数据为30*30像素的单通道灰度图