分类： 计算机科学 >> 计算机科学技术其他学科 提交时间： 2023-08-31
摘要： LLAMA 是最近几个月最流行的开源大语言模型，本文给出该模型的数学形式。
分类： 语言学及应用语言学 >> 语言学及应用语言学 分类： 计算机科学 >> 自然语言理解与机器翻译 提交时间： 2024-01-11
摘要： 以GPT系列为代表的大规模预训练语言模型的快速发展，深刻改变了自然语言处理领域的科研与工程范式，对医疗、教育、司法、金融等相关领域产生了深远影响。同时，这也为语言本身的研究带来了一些新的可能性。本文从歧义分析出发，简要评估GPT4、百川2、ChatGLM3等模型对以歧义为代表的复杂语言现象的理解和分析能力。实验结果表明，GPT4可以融合歧义消解和句法分析等方法，有效感知和理解复杂的语言现象。对于百川2，我们可以通过提示词工程引导其对语言现象进行深入思考，在不进行参数优化时，提升其分析能力。此外，通过监测大模型在处理不同语言现象时的内部特征与神经元活动，可以直观展现语言现象与大模型之间的关系。实验结果表明，大语言模型可以辅助人类更好地理解语言的本质，揭示语言现象深层次规律，从而为语言学研究提供新的思路。
分类： 计算机科学 >> 自然语言理解与机器翻译 提交时间： 2023-07-12
摘要： 以 LLAMA 为代表的开源大语言模型广泛使用旋转位置编码，原始论文使用复函数推导。本文改用线性代数推导，期望更好地理解该编码方法；提出该方法的一个疑点并给出了改进建议。
分类： 计算机科学 >> 自然语言理解与机器翻译 提交时间： 2023-12-17
摘要： 训练大语言模型时，损失函数值会一直下降，难于确定最佳停止时机。本文设计了一个定长交叉熵，使得模型损失不会一直下降，在模型充分训练以后就保持不变，便于选择训练停止时间，节省训练成本。
分类： 计算机科学 >> 计算机应用技术 分类： 图书馆学、情报学 >> 情报学 提交时间： 2023-05-12
摘要： 目的/意义：随着以ChatGPT为代表大语言模型技术的不断发展与变革，使得许多领域的经典场景都重新焕发出新的机会。同时，越来越多的学者开始关注如何将大语言模型的智能化能力与技术应用到现有的场景，并分析这些技术带来的挑战和机遇。 方法/过程：本文以ChatGPT为建模对象，首次将大语言模型技术引入用户图书评分偏好预测这一图情领域的典型应用场景，并落地实践。通过构建基于ChatGPT的用户图书评分预测模型（CUBR, ChatGPT-based model for User Book Rating Prediction），来探索大语言模型技术在图书推荐领域实践和落地的可行性。同时，本文基于图书评分任务的不同评估方案与现有经典推荐模型进行对比，探讨并给出了CUBR在用户图书评分预测场景的优势与劣势，并分析了后续大语言模型在图书推荐其他场景可能的研究机会点。 结果/结论：本文实验研究表明，（1）CUBR模型在现有用户图书评分偏好预测任务上能够取得不错的推荐效果，特别是单样本(One-shot)这类待推荐目标信息较少的情况下，其表现接近或超过当前经典推荐算法，且泛化能力较强，较适用于冷启动推荐场景。（2）随着单个用户提示样本内容的增加（如从One-shot到Ten-shot），CUBR的预估效果会有显著的提升，说明CUBR具备不错的实时上下文学习能力。 局限：本文研究场景仅限于用户图书评分偏好理解与推荐，未来将尝试在更多的图情场景应用和改造现有大语言模型技术，并获得更好的实践效果。
分类： 数字出版 >> 互联网期刊 提交时间： 2024-04-25
摘要： 【目的】通过深入剖析新型知识服务平台Consensus.app的运行模式和技术实施方式，探索大语言模型为中国科技期刊知识服务发展带来的新启示。【方法】以文献调研与网络实证调研相结合的形式，分析Consensus.app平台的功能、特点及知识服务的表现形式，揭示该平台运行的技术实现方式，评估其在促进科技文献知识获取方面的作用，总结其应用中可能存在的优劣性。【结果】Consensus.app的语料库通过Semantic Scholar数据库的2亿篇摘要信息构建，该平台运用多种人工智能技术，从研究论文中提取关键信息构建了向量化的知识数据库，然后使用OpenAI的接口将用户提问转化为检索语句对知识库进行检索，再基于检索命中信息生成扼要结论反馈用户。Consensus.app可针对不同问题提供直接基于数据支持的结论，并可快速阅读文献快照信息，协助用户快速决策。【结论】Consensus.app在一定程度上解决了大语言模型答案所缺乏的准确性和证据链问题；为科技期刊在大模型时代的广泛高效应用提供了更丰富的使用场景，展示了结合大语言模型构造知识库提供科技期刊知识服务的新路径。在新时期，科技期刊界要高度重视数据质量建设，重视跨界合作、版权完善，积极加入大型数据库，积极拥抱大模型时代的趋势变化，迎接科技期刊的“AI+”时代。
分类： 心理学 >> 应用心理学 分类： 计算机科学 >> 计算机应用技术 提交时间： 2024-04-10
摘要： 整合复杂性是心理学中用来测量个体思维结构的一个概念，主要涉及两个方面：区分性和整合性。区分性是指个体能够识别和理解信息中存在的不同观点或元素的能力；整合性是指个体能够将这些不同的观点或元素合并成一个有逻辑性和连贯性的整体的能力。整合复杂性的测量主要依靠人工对于文本内容进行分析，这些文本可以是书面材料、演讲稿、面试记录或任何其他形式的口头或书面表达。针对当前整合复杂性人工测评方法成本高、自动化评估方法精度低以及缺乏中文文本评估方案等问题，本研究基于大语言模型文本数据增强技术和模型迁移技术为整合复杂性的评估设计了对于中英文文本的自动化评估方案，并探索了整合复杂性两种子结构：精细整合复杂性和辩证整合复杂性的自动化评估方法。本文设计并实施了两个研究，首先基于大语言模型文本数据增强技术实现了对于英文文本整合复杂性的预测模型，其次基于模型迁移技术实现了对于中文文本整合复杂性的预测模型。研究结果显示：1）使用GPT-3.5-Tubo对于英文文本数据进行增强，使用预训练多语言Roberta模型进行词向量提取，使用文本卷积神经网络模型作为下游模型。与人工标注相比，整合复杂性Spearman相关系数为0.62，辩证整合复杂性相关系数为0.51，精细整合复杂性Spearman相关系数为0.60。优于机器学习方法以及未经过数据增强的神经网络模型。2）本文在研究二中建立了与研究一中的神经网络结构一致的模型，并将研究一中最终的模型参数迁移至本研究的模型中，对于中文文本整合复杂性进行训练。在零样本的情况下，迁移学习模型整合复杂性Spearman相关系数为0.31，辩证整合复杂性Spearman相关系数为0.31，精细整合复杂性相关系数为0.33，均优于随机参数情况下的模型表现（整合复杂性：0.17，辩证整合复杂性：0.10，精细整合复杂性：0.10）。在小样本情况下迁移学习模型整合复杂性Spearman相关系数为0.73，辩证整合复杂性Spearman相关系数为0.51，精细整合复杂性相关系数为0.73。
分类： 管理学 >> 科学学与科技管理 提交时间： 2023-08-23 合作期刊: 《中国科学院院刊》
摘要： 以ChatGPT为代表的GPT生成式大模型发展日益蓬勃，引起了学界和业界的广泛讨论，对基础科研的 发展带来了难以估量的影响。文章首先梳理了GPT技术革命的发展历程，并讨论了该技术在科学研究中带来 的新变革。然后，基于应用牵引、原理驱动、创新主体迁移3 个视角，讨论了GPT技术革命对基础科学研究 带来的影响及对我国的发展建议。研究认为GPT技术固然可以对知识生产、科学研究等方面发挥积极作用， 甚至促进科研范式变革，但也可能造成科研不端、削弱研究可信度、放大互联网固有偏见、知识产权卡脖 子等问题。因此，本研究最后讨论了如何基于GPT技术发展我国的基础科学研究，明确在投资与研发国家 自主可控、受知识产权保护的数据与计算平台的同时，鼓励人机协作与科研诚信监管并重，为人工智能 （AI） 推动基础科学发展营造公开透明的环境。本研究旨在为政策制定者、一线研究工作者理解GPT技术对 于基础科学的影响提供理解视角，推进GPT技术的合理使用，并为未来学术生态的健康发展提供参考。
分类： 计算机科学 >> 自然语言理解与机器翻译 提交时间： 2024-01-04
摘要： 本文从易学研究的特点、大语言模型应用的主要场景出发，探讨了大语言模型在易学研究方面的可能方向，并以大语言模型在易占中的具体应用作为实例进行说明，旨在探索大语言模型在易学研究中的潜在作用。易学研究以其博大的文化内涵、深奥的理论体系和实用的应用价值而备受关注，具有专业性强，入门门槛高等特点。大语言模型在自然语言处理、知识图谱构建等领域取得显著成果，主要应用场景包括机器翻译、文本摘要、智能问答、语义理解等。然而，在易学研究中，大语言模型的应用远未充分发挥，为此，本文提出了大语言模型在易学研究中可能的方向，包括易学文献分析、易占结果解读等。最后，通过详细阐述大语言模型在易学研究中的应用实例易占，揭示了大语言模型在易学领域的潜力。通过对易学研究特点的深入理解和对大语言模型应用场景的充分挖掘，将有助于推动大语言模型在易学研究中的更广泛应用，提升研究效率，促进文化传承。
分类： 计算机科学 >> 计算机软件 分类： 语言学及应用语言学 >> 语言学及应用语言学 提交时间： 2024-04-21
摘要： 此幻灯片从背景、动机、方法、效果、展望和致谢六方面讲述了《引导大语言模型生成计算机可解析内容》的研究。全文请参考：https://arxiv.org/abs/2404.05499
提交时间： 2024-04-03 合作期刊: 《农业图书情报学报》
摘要： [目的/ 意义]探究大语言模型渊Large Language Models，LLMs冤等人工智能生成技术对用户信息检索行为产成的 影响，为信息检索系统和信息资源建设建言献策。[方法/ 过程]以ChatGPT 等LLMs 的蓬勃发展为背景，结合大语言模型的技 术特点与现有产品的特征，从用户信息行为的视角，通过探讨现有文献和大型语言模型，分析该技术的不断普及对信息检索 系统与用户检索行为的影响。[结果/ 结论]LLMs 用作信息检索系统具有传统产品无法比拟的优势，其对用户信息检索行为的 底层逻辑、行动重点与检索期望等方面都会产成影响。然而LLMs 现有可靠性、准确度等缺陷仍难以使其立刻取代传统信息检 索方式。建议在信息检索系统和信息资源建设中重视该技术，探索LLMs 与信息服务智能结合，以应对未来用户信息需求的变 化，并进一步充分利用已有信息资源的价值。
分类： 计算机科学 >> 自然语言理解与机器翻译 分类： 图书馆学、情报学 >> 机器翻译 提交时间： 2023-04-18
摘要： 目前主流的人工智能，普遍采用注意力机制 + 深度学习+强化学习的技术道路。我们认为强化学习无法适用到那些难以大量试错的领域。所以，要想实现能适用于任何领域的通用人工智能，我们必须转变实现道路。所以，我们提出了一套不同于深度学习+强化学习的机器学习方案，它通过小样本、累积学习，同样实现了和 transformer 相似的注意力机制，也同样创建了全连接知识网络。并且，它不需要采用试错学习的方式，就可以实现和环境的互动决策。并且人类可以给它预置不同的先天需求，来实现多目标平衡，从而实现远高于目前人工智能的安全性。在本文中，我们提出了一套从0 到1 的新机器学习技术方案。
分类： 计算机科学 >> 计算机软件 分类： 语言学及应用语言学 >> 语言学及应用语言学 提交时间： 2024-04-07
摘要： 大语言模型 (Large Language Models, LLMs) 能够从大量语料的上下文中学习到模式，其包括词语之间的关系、句子的结构甚至更复杂的语义和语用信息。然而，让预训练语言模型生成结构化、严格遵循约定的内容仍然是一项挑战。本文提出了一种引导LLMs生成计算机高可用内容的方案，无需微调和额外的神经网络推理，通过提前约定的上下文无关文法 (Context-Free Grammar, CFG) 引入基于协程的内容生成约束机制，在自回归模型Transformer的解码阶段引导模型采样正确的词元，以构成符合程序约定的形式语言。这将有效地提升LLMs生成目标数据结构、类型或指令的稳定性和一致性，降低应用开发和集成的难度。本文作者先通过“匹配括号对”实验验证了GPT-2和Gemma等模型在生成DSL长度分别大于36和282时错误率就达到了95%，说明了当前LLMs在特定DSL生成上的性能问题。本文作者还提出了基于协程的DSL生成框架YieldLang，并使用LLMs在多个任务数据集上进行了实验，包括JSON、Mermaid流图和函数调用表达式生成等任务。这些实验表明本文的方法相比基准，其准确率提升到了原来的109%到1160%，并且在最好的情况下能够将LLMs生成JSON的采样次数降低到基准的约16.5%，这将有效地提高LLMs生成内容对计算机程序的可用性。
点击量
待评议
点击量
下载量
评论
通过
