[Feature] 如何较为准确去估算token usage

[neoragex2002]

问题：selectedMsg这些关键流程都在用tokenx这个近似工具，而且这货的tokenization还只支持openai的gpt系列常见模型，deepseek、qwen、claude、bard这些模型的token预估怎么办啊...

建议：tokenx应对其他模型的token数量偏差可能有点大。如果ts里面没有类似py里transformer tokenizer那种精确工具的话，那是不是就只能建立精确的token usage序列跟踪机制、完全依托服务器的token usage统计反馈来搞定这事了

[zerob13]

是的，我也在想这个问题。目前最终的结果是从服务器的 token usage 反馈来实现的，现在很多模型的token预估都是不准确的。
精确的工具目前确实也没看到好用的（既不要影响用户使用体验，又要相对准确），gemini 那边是你要么精确的去调用服务器的接口count，要么就按照“一个 token 大约相当于 4 个字符。100 个词元相当于大约 60-80 个英语单词。”去估算。
另外其实问题更大的部分还不在这个近似工具上，而是目前tools和一些中间流程的上下文估算的时候并没有都算进去，导致时不时还是会爆。
此外，可能在这之前还需要把token计算这部分的逻辑抽象到每个provider里面（但也有一个provider多个不同种类模型的情况，可能要重新设计下抽象逻辑），让不同模型供应商/甚至不同模型能使用最符合模型要求的计算方式。
好多要做的事情，Orz

[neoragex2002]

这个确实头大... 我现在在观察usage，发现这个服务器返回的usage 序列统计也是很诡异的，比方说有些前文cache的token（比方说工具调用结果）它居然就不当作是你上传的token了... 要精确的话确实工作量巨大，而且碰到闭源模型，官方要不提供唯有干瞪眼 O_O