AIトークン・コンテキスト予算計算
テキストをブラウザー内でo200k_baseまたはcl100k_baseにより数え、入力したコンテキスト上限・出力予約量・安全余裕量と比較します。
入力は保存・送信されません。共有結果には概要だけを含めます。トークン数は選択したエンコーディングによる通常テキストの概算であり、API全体の使用量ではありません。
結果
入力後、実行するとここに結果が表示されます。
元のレポートを表示・直接コピー
結果を共有
ツールリンクと結果テキストを一緒に共有します。結果にはURLを入れません。以下の内容を確認して共有してください。
使用例と処理基準
例文をo200k_baseで数えて入力トークン数を確認します。コンテキスト上限32,000、出力予約2,048、安全余裕512の場合、残りの入力予算は32,000から3つの値を引いた数です。実際のAPIリクエストでは、メッセージ形式、画像・ファイル、ツール定義などでより多くのトークンを使う場合があります。
よくある質問
どのトークナイザーを使用しますか?
入力した通常のテキストをOpenAIのo200k_baseまたはcl100k_baseエンコーディングで数えます。エンコーディングを選ぶだけでは、特定モデルのAPIリクエスト全体を正確には計算できません。
API使用量やモデルの残りコンテキストを正確に確認できますか?
いいえ。コンテキスト上限と出力予約量は利用者が入力します。システム・開発者メッセージ形式、ツール定義、画像・ファイル、サービスが追加するトークン、モデルごとの制限は含みません。API応答の使用量情報の代わりにはなりません。
入力テキストはサーバーに送信・保存されますか?
いいえ。トークナイザーはページに含まれるファイルを使い、ブラウザー内の専用ワーカーで実行します。入力は保存せず、URL・分析イベント・サーバーリクエストにも含めません。共有結果にはトークン数の概要だけが含まれます。
計算基準と参考資料
- OpenAI開発者ドキュメント — トークンの計算
APIリクエストには通常テキストのほか、メッセージ形式、画像、ファイル、ツール定義などが含まれるため、ローカルのテキスト計算だけではリクエスト全体のトークン数は分かりません。
- OpenAI — tiktokenエンコーディングの説明
o200k_baseとcl100k_baseを含むOpenAIトークンエンコーディングの実装と説明。このツールはこの2種類で通常テキストのみを数えます。
- js-tiktoken — MITライセンスのJavaScriptトークナイザー
選択したエンコーディングでテキストトークン数をブラウザー内で計算する、MITライセンスのJavaScript移植版です。ネットワークAPIは呼び出しません。