API文本限制与性能影响解析

对于大模型API而言，输入限制通常以Token计（如Gemini的百万级窗口），但“发送多少”受限于物理性能与模型架构。

性能瓶颈来源：影响速度的不仅仅是Token数量，更核心的是计算量（FLOPs）。虽然在处理Prompt时计算是并行的，但随着Context Window变大，注意力机制（Attention Mechanism）的计算成本在某些模型中呈二次方增长，导致模型在处理超长文本时的内部推理准备时间增加。
响应速度（Latency）：
- 首字延迟（TTFT）：模型在生成第一个字前，需要先“读完”你所有的输入并完成KV Cache缓存。输入越长，这一步耗时越久。
- 吞吐量限制：服务器GPU显存分配和序列调度也会随输入长度而变慢。
长度的非线性影响：
- 即使不考虑Token成本，过长的上下文会导致模型“注意力分散”（Lost in the middle），即模型容易忽略文本中间的信息，从而降低回复的准确度。
- 建议在开发中设定合理的截断逻辑，以保证用户体验的实时性与生成质量。