青いやつの進捗日記。

メモとしてべんきょうのしんちょくをかいていきます。あとで自分が検索しやすいもん

tiktoken

OpenAIのAPIにリクエストする時にトークン数計算に使えるtiktoken系ライブラリ、GPT-4.1系のサポートがあまりされてない印象。だがGPT-4o系をそのまま指定すればよさそう

Tiktokenについて OpenAIのAPIにリクエストする時に、トークン制限の最大を突破していないかとか調べるために使うtiktokenというライブラリがある。 github.com tiktokenのいろんな言語向けの派生があるようだが、基本的には モデル名を指定してエンコーディ…