AI的记性有多大？把"上下文窗口"讲透

我是智界探索者。

每天3分钟，带你看懂 AI 前沿——智能体、大模型、机器人、AI终端，都发生了什么。

今天周五，聊一个能解释很多"AI 为什么这样"的话题：AI 的记性。专业叫法是"上下文窗口"。

一、是什么：AI 一次能记住多少东西

上下文窗口（Context Window），就是 AI 回答你这一次问题时，能同时"装进脑子"的全部内容——包括你写的、它答的、你贴给它的资料。

衡量单位不是字，是词元（Token）。

几年前，几千个词元就是常态；

到 2026 年 10 月，100 万词元约等于 75 万英文单词、1500 页纸，够塞下一整套合同或者一个大项目的代码。

最新数据：据模型基准站 BenchLM 统计，截至 2026 年 10 月 7 日，它跟踪的 407 个公开了窗口大小的模型里，有 99 个（24%）达到 100 万词元及以上，中位数是 25.6 万词元。目前它跟踪到的最大窗口是 1000 万词元。

本月还在往前拱：10 月 6 日 Mistral Large 4、10 月 7 日 Claude Haiku 5.5、10 月 8 日 Step 5 Preview，都标了百万级词元窗口。

（来源：BenchLM.ai《LLM Context Window Statistics》，2026年10月7日；PromptZone 模型发布追踪，数据取自 OpenRouter 模型接口，2026年10月8日）

二、为什么重要：它决定了 AI 能干什么活

一句话：窗口越大，AI 能"一次读完"的东西越多。

第一，流程变短了。 以前让 AI 读一份长合同，得切成小段、建向量库、检索、再拼给模型。现在很多场景可以整份丢进去直接问。

第二，智能体要靠它活着。 智能体（Agent）是"会自己分步干活"的 AI：先规划、再调工具、看结果、再改。每一步都得记住前面发生过什么。窗口不够，它干到第三四步就开始"失忆"。

第三，最大的用处在企业侧。 企业知识库问答、财报批量解读、项目全流程复盘，这类活的特点就是资料多、链条长，最吃窗口。

但要泼一点冷水：标称的窗口大小，不等于 AI 真能用满。

学界有个著名现象叫「迷失在中间」（Lost in the Middle）：把关键信息放在长文中间，模型反而最容易漏掉。所以"有效上下文长度"往往小于宣传数字。

（来源：Liu 等《Lost in the Middle: How Language Models Use Long Contexts》，TACL 期刊 2024 年；BenchLM.ai 关于"标称上限常高于有效可用上下文"的说明）

三、会怎样：窗口再大，也绕不开成本和显存

为什么早年的窗口都那么小？因为注意力机制很贵。

Transformer 让每个词元都跟其他所有词元比一遍，上下文长度翻倍，计算量大约翻四倍。

更要命的是显存。AI 生成内容时，要把已经看过的内容缓存下来（业内叫 KV 缓存）：

100 万词元的上下文，光缓存就要约 125GB，一块 80GB 的 A100 根本装不下；

到 1000 万词元级别，缓存要往 TB 走。

（来源：Silicon Update《The Race for Longer AI Context Windows》，2026年）

所以今年的竞争，已经不是在比"谁能开出更大的窗口"，而是比谁能把撑住窗口的成本压下来：

环形注意力：把一条长序列摊到多张卡上轮流看，是目前百万词元时代的关键招；

分组查询注意力：多组注意力共用一套键值，8 比 1 的比例能把缓存缩小约 8 倍；

前缀缓存：固定不变的那段提示词缓存起来复用，这部分成本最多能省 90%；

架构改造：DeepSeek-V4 把每个词元的缓存压到上一代的约十分之一。

10 月 3 日，德国的 Aleph Alpha 开源了模型 Kolibri，做法很典型：780 亿参数的混合专家模型，40 层只盯前面 512 个词元（滑动窗口层），只留 10 层做全上下文——结果 100 万词元的缓存从 50GB 降到约 10GB，刚好塞进两张 H100。

（来源：Aleph Alpha 发布与模型卡，Apache 2.0 协议，2026年10月3日；AI Brief 技术分析，2026年10月4日）

一句话总结：AI 的记性还会继续变大，但真正的分水岭，是谁能用更少的显存记住同样多的事。

「今日一词」：词元

上面反复出现的"词元"，展开说说。

白话版：AI 不按"字"算账，按"词元"算账。

英文里，1 个词元大约等于 3/4 个单词，1000 个词元约等于 750 个英文词；

中文大致是一个字上下算一个词元（不同模型的分法略有差别）。

为什么你要知道它？两个地方天天用得上：

1. AI 的"记性"是用词元量的——百万词元窗口，说的就是这个；

2. 接口调用是按词元收费的，输入和输出分开计价，你贴进去的资料越长，账单越高。

所以企业主和开发者最实在的一条经验是：窗口大，不代表要一次塞满。 该检索就检索，该摘要就摘要，把该给的资料给够，把无关的噪音去掉——省钱，答案还更准。

写在最后

AI 这门生意，说到底就三样东西缺一不可：

算力——服务器是地基，没有算力什么都跑不动；

入口——官网、小程序、门店，客户从哪儿找到你；

内容——持续输出的内容，把路人变成客人。

想搭自己的网站、上自己的小程序？进 www.chenclan.cn 了解自助建站与云服务，三样给你配齐。

关注「智界探索者」，周二见。