Command Palette

Search for a command to run...

5 个月前

MemOS:一种用于AI系统的内存操作系统

MemOS:一种用于AI系统的内存操作系统

摘要

大型语言模型(LLMs)已成为实现通用人工智能(AGI)的重要基础设施,但其缺乏明确定义的内存管理系统阻碍了长上下文推理、持续个性化和知识一致性的发展。现有的模型主要依赖静态参数和短暂的上下文状态,限制了它们在较长时间内跟踪用户偏好或更新知识的能力。虽然检索增强生成(RAG)引入了外部知识以纯文本形式存在,但它仍然是一种无状态的权宜之计,缺乏生命周期控制或与持久表示的集成。近期的研究从内存层次结构的角度对LLMs的训练和推理成本进行了建模,表明在参数内存和外部检索之间引入显式的内存层可以通过外部化特定知识显著降低这些成本。除了计算效率之外,LLMs还面临着更广泛的信息分布随时间和上下文变化带来的挑战,需要能够管理不同时间尺度和来源的异构知识的系统。为了解决这一挑战,我们提出了MemOS,一种将内存视为可管理系统资源的内存操作系统。它统一了纯文本、基于激活和参数级别的内存表示、调度和演化,实现了成本高效的存储和检索。作为基本单元,MemCube封装了内存内容及其元数据,如出处和版本信息。MemCubes可以随着时间进行组合、迁移和融合,从而实现不同类型内存之间的灵活转换,并将检索与基于参数的学习桥接起来。MemOS建立了一个以内存为中心的系统框架,为LLMs带来了可控性、可塑性和可演化性,为其持续学习和个人化建模奠定了基础。

代码仓库

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
MemOS:一种用于AI系统的内存操作系统 | 论文 | HyperAI超神经