澳门新葡8455线路检测中心

中文

群英论“数”|解锁推理LLM差异优势 8455线路检测中心DeepSeek应用实践

2025/04/24 144

作者:8455线路检测中心人工智能首席架构师 戴敏

 

随着大语言模型(LLM)技术的快速演进,以DeepSeek为代表的推理LLM的横空出世,给LLM应用带来了新思路和新方法。DeepSeek最广为人知的特点是对算力成本与模型性能的平衡,而对于LLM应用而言,更吸引人的是其作为推理LLM的特性,即充分利用长思维链等特性,紧密结合业务场景进行分析并设计针对性的解决方案。相较于以往采用通用LLM的解决方案,采用推理LLM可以发挥更明显的优势,当然也需要避开推理LLM的不足,这也是企业应用DeepSeek这类推理LLM的关键。

 

围绕推理LLM与通用LLM的差异构建不同的应用解决方案

 

应用架构、软件设计对于LLM应用至关重要

8455线路检测中心的LLM应用研发中接入了DeepSeek和其他LLM。尽管LLM技术与传统IT技术有较大的差异,但应⽤架构、软件设计对于LLM应用⾄关重要。在LLM应用领域,ToB领域针对自身业务场景的LLM应用一般都属于复杂应用,这不仅体现在场景自身及数据的复杂性上,也体现在对应用的稳定性、精确性等的要求上。使用DeepSeek的这些复杂应用,能否充分发挥出与使用其他LLM的不同的效果,关键看是否设计了契合的应用架构及解决⽅案。基于实现技术、设计目标等的差异,推理LLM与通用LLM有很大不同,这种不同也会影响到LLM应用。

 

从应用角度推理LLM有什么不同

DeepSeek V1、V2、V3均为通用型LLM。DeepSeek V1基于Transformer的经典稠密模型,参数量在百亿级别,采用全量预训练模式。DeepSeek V2在稠密架构基础上引入稀疏注意力机制,降低长文本计算复杂度。DeepSeek V3采用稀疏激活的混合专家架构(MoE),动态分配计算资源,显著提升模型容量的同时控制推理成本。

 

DeepSeek R1是推理LLM。DeepSeek R1-Zero没有使用监督微调,而是只采用强化学习,通过元学习框架优化模型初始化参数,实现在未见过任务上的强泛化能力。DeepSeek R1解决了可读性差以及可能由于纯RL(Reinforcement Learning,强化学习)引起的语言混杂的问题,同时,采用动态计算图进行推理优化,提升了推理效率和适应性。

 

解决方案需要合理利用推理LLM与通用LLM的差异

DeepSeek多版本的演进体现了其对推理模型的重视。DeepSeek  R1-Zero通过纯强化学习训练,创新多阶段训练架构,特别是创新了GRPO技术,并利用纯强化学习构建监督数据,利用监督数据在部分领域重新微调基础模型。多种创新性技术的应用针对性增强了DeepSeek在多步推理、归纳判断、逻辑任务中的性能,并且创新性增强了正向循环的自身推理能力提升。而这些都显著提升推理能力,客观上强化了推理LLM的特性。


在DeepSeek的LLM应用热潮中,能否充分发挥模型价值的关键之一,在于能否准确把握推理型LLM与通用型LLM的核心差异,并进行合理、充分地设计不同的应用解决方案。

 

表:推理LLM与通用LLM在应用定位上的最显著差异

差异维度

推理LLM

通用LLM

典型任务类型

复杂任务、逻辑推理、决策辅助

通用知识问答、简单文本生成

模型设计特点

稀疏注意力、动态分配资源(MoE)

稠密结构、通用泛化能力强

 

 

8455线路检测中心LLM应用实践

 

在近期完成的LLM应用研发中,8455线路检测中心在实践中研究了推理LLM与通用LLM在LLM应用上的差异化应用策略,典型的用于比较的应用场景是:知识库问答场景(通用LLM)和专业领域资产处置方案报告生成(推理LLM)。

 

推理LLM用于相对复杂任务更具备优势

推理LLM能力的优势在于对复杂任务的处理上,DeepSeek推理LLM在设计中充分考虑了提高推理效率、降低推理成本、平衡性能与效率等。从应用解决方案的角度,可以更多关注如下细分能力的应用:多步推理与逻辑链构建能力、知识整合与泛化能力、创造性与灵活生成能力、模糊信息处理与补全推测能力、上下文深度理解与场景关联能力。在应用实践中,对于分析及处置方案报告生成更适合采用推理LLM,而知识库场景可选择使用通用LLM。

 

还需要关注的是,在ToB的应用场景中,对于常规的非复杂处理场景,采用LLM会产生幻觉和准确率的问题,这里需要采用专门的优化技术进行处理。一般需要在从数据预处理到最终LLM生成结果的全流程上,采用一种或多种不同的优化技术,除了上下文增强、提示词增强等技术外,也包括对Embedding、召回等环节算法及应用逻辑的优化技术。

 

基于推理LLM的解决方案有更大的设计空间

为充分挖掘DeepSeek的推理LLM的优势,在软件实现过程中,我们实践了几种关键方法,包括复杂任务长程链拆解、推理任务专项优化、基于RAG的推理增强、推理大模型的慢思考能力的场景封装、依托互联网信息实时检索的推理增强、基于自动化评估实现自迭代等方法。

 

具体而言,专业领域资产处置方案报告任务拆解为多个独立子任务,系统中利用不同的模块实现复杂任务拆解出的不同子任务,每个模块的实现中针对合适的处理环节,利用推理LLM提升处理效果并结合优化手段降低幻觉。在此过程中,也考虑了不同模块间所需中间数据的共享方案。在实现上,采用多Agent系统架构,支撑多个子任务的协同,依托框架支撑协作机制,使复杂任务的处理更加结构化、系统化。同时,针对每个模块的细分功能进行针对性的优化,典型的包括提示词、模型、召回的优化。报告的生成通过集成RAG功能,实现了知识上下文的扩充,未来可以进一步支持领域知识库或者知识图谱,支持动态检索并整合到LLM的推理流程中。

 

为了更好地完成报告生成任务,我们在软件中集成了互联网实时信息获取模块,获取到的可靠的附加信息在预处理后也作为上下文信息,参与后续的生成处理,以数据增强的方式进一步提升推理LLM的处理效果,提升报告内容的丰富性、生成的准确性,例如以市场信息、企业信息等进行数据增强。

给慢思考的推理LLM配备小模型,缓解幻觉等问题

 

为了充分发挥推理LLM的能力,我们基于预训练模型构建了专用的评估模型(小模型),并以此为基础构建评估Agent,系统依据评估Agent的反馈实现自迭代。自迭代可以包括Prompt和输入策略的调整等,用于提升输出质量和稳定性。未来可以充分利用更多的数据进一步优化生成的准确性、风险性、合规性评价。在自迭代功能实现中,我们采用了一些小技巧,例如以评估模型为基础构建合理的算法,对多种评估结果给出综合评分,依次进行每轮迭代结果的自动评估,以避免推理LLM在多轮处理中出现对主题不聚焦的情况,此外,自迭代中也适当约束了推理LLM的生成目标。

 

8455线路检测中心基于DeepSeek推理型LLM的核心能力,构建了针对性的解决方案,并在软件架构中完成了LLM推理应用的系统化设计及相应的功能优化,支撑了专业领域资产处置方案生成的复杂任务。

 

需要注意的是,随着推理LLM对复杂任务意图理解能力、符合预期的结构化输出能力等能力的提升,对于复杂任务的LLM解决方案也需要持续演进和优化。此外,围绕DeepSeek还有很多可以在LLM应用、模型构建等方面优化的工作,例如可以借鉴DeepSeek的其他创新性技术思路提升小模型构建过程的稳定性,借鉴长程规划实现思路优化LLM应用等。

 

推理LLM与通用LLM在应用上存在差异,需要在深刻理解这种差异的基础上,设计出恰当的应用解决方案和匹配的软件架构,才能真正有效地发挥推理LLM的优势。截至发稿时,推理LLM又迭代出了新的创新点,例如出现了混合推理架构,进一步融合推理LLM与通用LLM,提升使用体验的同时,也进一步简化了LLM应用解决方案的复杂性,提升了LLM应用的基础灵活性。

 


线上展厅
获取方案
返回顶部
Baidu
sogou