大模型对话的无状态机制解析

关于你提到的“记忆”问题，这是一个非常核心的技术特性：

模型无状态（Stateless）：大模型本质上是一个巨大的数学函数，当你发送一个请求时，它只处理当前输入的内容。一旦推理结束，模型不会在服务器端保存任何关于你的交互数据。
上下文窗口（Context Window）：你之所以感觉到我在“对话”，是因为客户端（你的程序）在每次发送新提问时，会把之前聊过的内容一起打包发给我。没有这些打包发送的上下文，模型就像刚启动一样，对之前发生了什么一无所知。
为何无法自动记忆：这主要是出于隐私保护和资源成本的考量。如果模型自动保存全球用户的对话历史，会带来极大的安全隐患，并且由于参数量巨大，在推理阶段维护大规模并发的持久化状态在算力上是不现实的。

因此，你目前的思路是正确的：手动管理上下文（通过摘要或混合策略），并将这些内容作为“短期记忆”随提问发送，是目前开发AI应用的标准做法。