上下文用量、压缩与额度
上下文圆环展示已用 token 与窗口大小;额度提醒展示账号用量。二者来自适配器通知,ChatKit 不自行估算模型实际消耗。
正在加载真实示例…
接入 SOP
- 设置
features.contextUsage: true和需要时的features.rateLimit: true。 - 在适配器收到后端通知时通过公开
RuntimeIngress.reportUsage报告对应 sessionId。上下文是{ used, window };额度窗口使用usedPercent,可含毫秒时间戳resetsAt。 - 需要压缩时实现适配器
compact。界面配置compact: false可只展示用量。 - 后端压缩完成后报告更新后的用量,并保证历史与真实上下文一致。用
useSessionUsage在 Provider 内读取公共状态。
验证结果
点击“模拟用量通知”,圆环应显示 12000 / 16000,额度达到 85% 时出现提醒。点击圆环完成演示压缩后用量降到 1800。点击“模拟额度用尽”,检查提示变化。
常见调整
features.rateLimit.threshold 调整提醒阈值;contextUsage.slot 调整位置。未收到数据时不显示是正常行为,刷新后需由后端重发有效通知。
排错
没有圆环先检查开关和 context 通知;不能压缩检查 compact 能力;用量不准确检查后端单位和会话归属。额度提醒不等于前端已经实施请求限流。