KYALULU WEB TOOLS · 日本語のための比較
同じ日本語。
分かれ方は、いろいろ。
文章が何トークンになるか、どう分かれるか。
国産モデルを含む10種類を、同じ入力で比べられます。
比べたい文章
文字数はUnicodeコードポイントで計数（空白・改行を含む）。本文だけを計測し、BOS/EOSや会話テンプレートを自動追加しません。
サンプルから試す
追加予定：Gemma 3・Llama 3.1。正規資産と配布条件、一致検証の準備後に追加します。
トークン数を比較
実トークナイザー文章を入力すると比較できます。
| トークナイザー | トークン | / 100文字 |
|---|
トークン数が少ないほど、日本語能力が高いという意味ではありません。APIの実際の請求量には、会話形式などによる追加分があります。
各片を開くとIDを確認できます。UTF-8の文字が複数トークンにまたがる場合は結合して表示します。空白・改行を可視化しています。モデル固有の正規化や先頭空白により、元文と見た目が異なることがあります。
実測とは別の参考計算
係数から概算する
公開トークナイザーのないモデルなどを、自分で指定した係数で試算できます。Claude・Geminiなどの正確な値を再現する機能ではありません。
係数を指定してください。
計算式：ceil（文字数 ÷ 係数）
この比較について
入力の内容・履歴を送信、自動保存しません。必要な語彙ファイルだけをこのサイトから読み込み、モデルの重みや生成APIは使いません。
特殊トークンの文字列は、それぞれの語彙への登録に従って認識します。入力をこちらで全半角変換・正規化することはありません。
配布元・バージョン・ライセンス
SwallowはLlama 2 Community LicenseとAcceptable Use Policyの条件に従います。変換した資産は元ファイルそのものとは区別し、出典とハッシュを記録しています。
参考：OpenAI Tokenizer · OpenReplay · 比較・検証レポート