导读： 和 AI 聊得久了，你可能会发现：一开始交代过的要求，它后面就不照做了；前面聊过的细节，它突然记不起来了。这不是 AI 在偷懒，而是它一次能"看到"的内容有上限，这个上限叫上下文窗口。这一期讲清楚上下文窗口是什么、为什么有上限、满了会怎样，以及怎么让 AI 少忘事。「赛博 AI」第 10 期。
很多人都遇到过这种情况：
一开始你跟 AI 说"以后回答都用表格"，它乖乖照做。聊了几十轮以后，它又开始写大段大段的文字了。你提醒它，它道歉，改回来，过一会儿又忘了。
还有更奇怪的：你贴给它一份几十页的合同，问它第 15 页写了什么，它答得驴唇不对马嘴，可问第 1 页和最后一页，它都答得很准。
这两件事，背后是同一个原因。
不同产品处理长对话的方式不同，文中描述的是一般情况，以具体产品的说明为准。
一分钟速览
目录
一、上下文窗口到底是什么
先说一个很多人不知道的事实：AI 模型本身不记得任何对话。
你和它聊的每一句话，都不会存进模型里。每次你发一条新消息，聊天软件会把从头到尾的全部聊天记录，连同你的新问题，一起打包发给模型。模型读完这一整包，接出回答，然后就"忘"了。下一轮，再把更长的一整包发过去。
这一整包内容能有多长，就是上下文窗口的大小，按 Token 计算。比如"128K 上下文"，意思是这一包最多约 12.8 万个 Token。
这一包里通常有四样东西：
系统设定：产品方预先写好的说明，你一般看不到
聊天记录：你和它之前说过的所有话
你贴的文件：文档、网页、代码，都要换成 Token 放进来
它正在写的回答：回答本身也占位置
二、为什么窗口有上限
既然只是把文字一起发过去，为什么不能无限长？
原因有两个：
计算量涨得很快：AI 读文字时，每个字都要和前面所有的字"对一遍"。内容长度翻一倍，这一步的计算量大约要翻四倍
显存不够放：AI 会把读过的内容存一份中间结果在显存里。内容越长，占的显存越多，聊到几万字，光这部分就能占好几个 GB
所以上下文窗口不是厂商小气，而是实打实的硬件成本。窗口越大，服务器越贵，这也是很多产品"长文本"要单独收费的原因。
为什么贴了长文档，要先等很久
一口气贴进几万字的文档，AI 往往要先"愣"上好几秒甚至十几秒，才吐出第一个字。因为写回答之前，它得先把窗口里的全部内容从头读一遍，把每个字和前面所有的字都对一遍，算出存在显存里的那份中间结果。这一步行业里叫预填充。
内容越长，这一步的计算越多：长度翻一倍，计算量大约翻四倍。所以几百字的问题几乎秒回，几万字的文档就要先等一会儿。读完以后，后面吐字的速度反而和短问题差不多，因为算好的中间结果已经存起来了，不用再算一遍。
所以贴完长文档后的那段"沉默"不是卡住了，而是它在认真地读。
三、满了之后会发生什么
聊天记录越积越长，总有装不下的时候。这时候不同产品的做法不一样，常见的有两种：
删掉最早的：从最开头的聊天记录开始，一条一条往外挤。你第一轮说的"以后都用表格"，就这样被挤出去了
压缩成摘要：把前面的对话让 AI 自己总结成一小段话，再接着聊。省了地方，但细节会丢
不管哪种，结果都一样：AI 看不到了，就等于不知道了。开头那个"聊久了就不用表格"的现象，就是这么来的。
四、窗口大也会"看漏"
窗口够大，所有内容都装得下，AI 就一定能看全吗？也不一定。
研究者做过测试：把一条关键信息分别藏在长文档的开头、中间和结尾，再让 AI 回答相关的问题。结果发现，信息藏在开头和结尾时，AI 答得最准；藏在中间时，正确率明显下降。
这就是开头那份合同的问题：第 1 页和最后一页答得准，第 15 页却答不上来。窗口装得下，不等于每一处都看得一样仔细。新一代模型在这方面进步了很多，但长文档的中间部分，依然是最容易被漏掉的地方。
五、怎么让 AI 少忘事
换话题就开新对话：既不容易满，又不会被前面无关的内容干扰
重要的要求放在显眼位置：放在问题的最后，或者在聊天软件的"自定义指令"里设置，那里的内容每次都会被带上
长文档只贴需要的部分：与其贴整份合同，不如只贴相关的几页
问具体的问题：问"第三章第二条怎么规定违约金"，比问"这份合同有什么问题"答得准
聊久了让它先总结：觉得它开始忘事，就让它把目前的结论整理一遍，再开一个新对话接着聊
六、冷知识与常见问题
冷知识：几年间，窗口大了几百倍
2020 年发布的 GPT-3，上下文窗口只有 2048 个 Token，换成中文也就一两千字，聊几轮就满了。2024 年，谷歌的 Gemini 1.5 把窗口做到了 100 万 Token 以上，能一次读进好几本长篇小说。短短四年，大了五百倍左右。
一句话记住
AI 不记得你们聊过什么，它只是每次把能装下的记录重读一遍；装不下的，就等于没说过。
常见问题
问：聊天软件的"记忆"功能是怎么回事？
答：那是软件额外帮你存了一些要点，每次对话时自动放进上下文里，不是模型本身记住了。
问：本地跑模型，上下文能设多大？
答：要看模型支持多大，也要看你的显存。设得越大，占的显存越多。
问：窗口越大越好吗？
答：不一定。装得越多，费用越高、速度越慢，而且中间部分容易看漏。够用就好。
名词小抄
想深挖再看
关于"长文档中间信息容易被忽略"的研究：斯坦福大学等，2023
GPT-3 技术论文（OpenAI，2020）：2048 Token 上下文
Google Gemini 1.5 技术报告（2024）：百万级上下文
各产品处理长对话的方式不同，以官方说明为准。