大模型 6 篇文章

大语言模型的工程化落地技术,涵盖场景适配开发、上下文管理、检索增强与推理优化

封面
符号推理 可解释性 知识图谱 逻辑引擎 大模型

神经符号融合补上大模型长链条推理短板

神经符号融合将神经网络的感知能力与符号系统的精确推理结合,补足大模型在多步计算和逻辑推导上的短板。DeepMind AlphaGeometry在30道IMO几何题上的表现证明混合架构优势显著。工程落地重点在于神经网络输出与符号模块之间的接口衔接,以及反馈闭环的构建。无法核对

阅读全文
封面
Transformer 大模型 AI架构

Transformer架构的四大核心局限与应对思路

Transformer架构的四大核心局限包括自注意力平方复杂度、固定上下文窗口、推理内存墙和幻觉问题。自注意力时间复杂度为O(n²),KV Cache在7B模型长序列下占据超过三分之一的A100显存,主流大模型专业问答幻觉率介于3%到10%。替代方案如线性注意力、状态空间模型和混合稀疏注意力正逐渐成熟。

阅读全文
封面
通用人工智能 大模型 符号推理 持续学习

AGI落地面临哪些工程难题大模型还差在哪

当前以LLM为代表的AI系统在处理符号推理、世界建模和持续学习等核心AGI能力上仍存在根本性缺陷。本文从工程实践角度剖析了这三个关键鸿沟的具体表现,包括符号推理的统计本质、世界模型的计算爆炸问题、以及持续学习的灾难性遗忘困境,并给出了当前折中方案与未来方向。

阅读全文