Tiktokenについて OpenAIのAPIにリクエストする時に、トークン制限の最大を突破していないかとか調べるために使うtiktokenというライブラリがある。 github.com tiktokenのいろんな言語向けの派生があるようだが、基本的には モデル名を指定してエンコーディ…