分类: 计算机科学 >> 计算机软件 分类: 语言学及应用语言学 >> 语言学及应用语言学 提交时间: 2024-04-21
摘要: 此幻灯片从背景、动机、方法、效果、展望和致谢六方面讲述了《引导大语言模型生成计算机可解析内容》的研究。全文请参考:https://arxiv.org/abs/2404.05499
分类: 计算机科学 >> 计算机软件 分类: 语言学及应用语言学 >> 语言学及应用语言学 提交时间: 2024-04-07
摘要: 大语言模型 (Large Language Models, LLMs) 能够从大量语料的上下文中学习到模式,其包括词语之间的关系、句子的结构甚至更复杂的语义和语用信息。然而,让预训练语言模型生成结构化、严格遵循约定的内容仍然是一项挑战。本文提出了一种引导LLMs生成计算机高可用内容的方案,无需微调和额外的神经网络推理,通过提前约定的上下文无关文法 (Context-Free Grammar, CFG) 引入基于协程的内容生成约束机制,在自回归模型Transformer的解码阶段引导模型采样正确的词元,以构成符合程序约定的形式语言。这将有效地提升LLMs生成目标数据结构、类型或指令的稳定性和一致性,降低应用开发和集成的难度。本文作者先通过“匹配括号对”实验验证了GPT-2和Gemma等模型在生成DSL长度分别大于36和282时错误率就达到了95%,说明了当前LLMs在特定DSL生成上的性能问题。本文作者还提出了基于协程的DSL生成框架YieldLang,并使用LLMs在多个任务数据集上进行了实验,包括JSON、Mermaid流图和函数调用表达式生成等任务。这些实验表明本文的方法相比基准,其准确率提升到了原来的109%到1160%,并且在最好的情况下能够将LLMs生成JSON的采样次数降低到基准的约16.5%,这将有效地提高LLMs生成内容对计算机程序的可用性。
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2018-10-11 合作期刊: 《计算机应用研究》
摘要: 针对软件定义网络(SDN)泛洪攻击导致的上层性能瓶颈和过载问题,提出一种分布式自组织映射(DSOM)结合K-均值聚类的网络流量攻击检测方法。首先,位于应用层的DSOM控制器将现有数据集发送给集成了DSOM扩展包的交换机,在每个交换机上分别训练DSOM映射;然后,在预定时间内合并DSOM映射;最后,DSOM控制器将合并后的DSOM映射发送到所有OpenFlow交换机,利用K-均值聚类完成最终的分类。实验结果表明,DSOM方案能够有效检测异常流量、解决瓶颈问题,相比传统方法具有一定的优势。此外,提出的方法提高了系统对攻击流量的反应速度,同时给网络系统带来较小的开销。