The Decoder· Matthias Bastian·· 5 小时前AI 评分65
Anthropic 在 Claude 平台推出 Message Threads 公测
Anthropic's Message Threads cut time to first token by 35 percent for long conversations
AI 导读
Anthropic 在 Claude 平台推出 Message Threads 公测，长对话请求只传输自上条消息以来的变化内容，使 500,000 至一百万 tokens 请求的首 token 延迟降低约 35%。该功能适用于编码智能体、计算机使用智能体及处理大量文档或图像的工作流，线程会在请求间以加密形式保存在内存中，闲置五分钟后过期，但 token 用量不变。
来源：The Decoder · the-decoder.com