国家预印本平台
中国首发,全球知晓
大型图文大语言模型通过联合建模视觉与语言表征,在多模态理解任务中展现出强大能力。尽管已取得显著进展,如何确保生成内容忠实于视觉依据仍然是一个根本性挑战。当前研究往往依赖日益复杂的模型微调或引入额外计算成本与外部依赖的解码阶段启发式方法来解决幻觉问题,本文则从基于事实证据的输出引导这一新视角重新思考幻觉缓解机制。具体而言,该方法直接从输入图像中提取细粒度的事实性描述,并将其嵌入结构化提示模板,从而显式约束生成过程。这种事实增强的提示策略以轻量化、无需训练的方式强化了模型的视觉基础,使输出结果更具忠实性。在多个幻觉基准测试上的大量实验表明,该方案能有效减少幻觉生成,持续优于现有先进方法,同时保持显著更高的运行效率。}\abstractCHN{大型图文大语言模型通过联合建模视觉与语言表征,显著提升了多模态理解能力。然而,确保生成内容忠实于视觉依据仍是一项根本性挑战。当前,缓解幻觉的研究主要依赖两类手段:一是日益复杂的模型微调,二是涉及额外计算开销或外部依赖的解码启发式方法。不同于上述路径,本文从基于事实证据的输出引导这一新视角出发,重新审视幻觉缓解机制。具体而言,该方法直接从输入图像中提取细粒度的事实性描述,并将其嵌入结构化提示模板,从而实现对生成过程的显式约束。这种事实增强的提示策略具有轻量化、无需训练的优势。 它在强化模型视觉基础的同时,提升了输出内容的忠实性。在多个幻觉基准测试上的实验结果表明,该方案能有效抑制幻觉生成。与现有先进方法相比,本文方法在保持更优表现的同时,展现出更高的运行效率。
大语言模型主要采用"预训练+微调"的训练范式,在领域数据上微调可以提升模型在特定任务上的表现。然而,一些企业拥有高质量的领域数据却没有足够的算力微调模型,需要可提供大模型微调服务的企业,并通过对方提供的模型微调和推理服务应用微调后的模型。在此过程中,微调数据中的隐私信息有泄露的风险。现有方法基于差分隐私对词嵌入添加噪声来解决这一问题。然而,微调服务提供方往往不允许数据方获取预训练模型权重,数据方需使用开源嵌入模型处理数据,而微调服务提供方依赖预训练模型的嵌入层,双方嵌入模型的差异导致语义空间不对齐,加剧了扰动带来的语义偏移,放大了噪声对模型的影响。此外,现有加噪机制未区分词嵌入的语义重要性,可能导致关键信息被过量噪声掩盖而损害模型性能。为此,本文提出一种基于嵌入扰动的大语言模型微调数据隐私保护方法。在该方法中,为缓解语义空间不对齐问题,提出了基于对比学习的语义对齐方法;为增强语义对齐对于词嵌入的适配性,提出了基于余弦相似度的表示一致性优化方法;为降低噪声的过量注入导致的模型效用低的问题,提出了基于语义加权的嵌入扰动方法。实验结果表明,与基线方法相比,所述方法在提供相同隐私保护强度的条件下,获得了更优的模型性能。
在国家教育数字化战略深入推进与数字经济快速发展的双重驱动下,计算机类专业作为培养数字化人才的核心载体,其课程体系面临着全方位的重构需求。本文探究了教育数字化背景下计算机类专业课程体系的建设要求、现状及核心问题,剖析问题产生的深层成因,结合国内外研究成果与实践经验,提出针对性的建设路径。研究发现,当前计算机类专业课程体系存在培养目标同质化、课程内容与产业脱节、数字化融合浅显、师资素养不足等问题,根源在于政策落地不到位、教育理念滞后及协同机制缺失。提出构建"目标-内容-模式-评价-实践-师资"六位一体的建设体系,突出政校企协同育人与区域产业适配性,为高校计算机类专业课程体系数字化转型提供了可参考的路径与方案,助力数字化人才培养质量提升。
随着企业数字化转型的不断深入,基于事件日志的业务流程预测技术在优化资源配置和风险管控方面发挥着越来越重要的作用。现有的序列化深度学习方法往往难以充分表征业务流程中复杂的非线性拓扑结构,而新兴的大语言模型在面对非自然语言的流程数据时,存在显著的模态差异与语义鸿沟。为了充分利用大语言模型的语义理解与预测能力,本文提出了一种基于大模型与图重编程机制的多目标业务流程监控方法。在引入领域语义词汇表与提示工程策略的同时,实现了对流程下一活动与剩余时间的预测。通过在多个公开真实数据集上进行测试,对本文提出的方法在预测准确性及可解释性上的有效性进行了证明。
随着网络攻击手段的不断演进,钓鱼邮件正逐渐从简单的广撒网模式转向利用复杂的社会工程学原理进行心理操控。现有的检测方案多依赖于邮件的表层结构特征或通用的文本语义表示,难以有效捕捉深层的欺诈意图与认知陷阱,导致在面对高伪装性攻击时存在漏报率高、泛化能力弱的问题。为此,本文设计了一种基于认知操控意图引导的深度学习模型。该模型在DeBERTa预训练语言模型的基础上,创新性地引入了认知引导交叉注意力机制,通过提取细粒度的认知操控特征动态引导语义编码器聚焦于关键的欺诈线索;同时,结合多特征门控融合网络自适应地平衡文本语义信息与认知操控意图特征的权重。实验表明,该模型在混合数据集上的F1值达到98.72%,召回率达到98.88%,在准确性与鲁棒性方面优于部分现有的先进基线模型,验证了其在复杂文本环境下识别社会工程学攻击的有效性。














