モデルと接続先

アプリの保存とモデルの実行を分ける#

Kyaluluが持つのはキャラクター、人物像、世界観、会話状態、記憶などの保存データです。返事の計算は選んだProviderが担当します。LEを経由してもキャラクターの正本がLEへ移るわけではありません。モデルを変更すると文体や設定への従い方は変わりますが、モデルの登録だけで重みの準備や品質検証が済むこともありません。

初めてなら導入手順のMock確認を先に終えましょう。外部サーバーを選ぶ場合、保存場所がローカルでも生成用の情報は送信されます。送信範囲はプライバシーで確認できます。

LEのモデル一覧から選ぶ#

1. LEのle-daemonを起動し、LE_API_URLの接続先を確認します。既定はhttp://127.0.0.1:8130です。
2. Kyalulu APIにLE_API_TOKENを設定するか、LEが作成したトークンファイルを読み取れる状態にします。Windowsの既定ファイルは%LOCALAPPDATA%/kyalulu-le/api-tokenです。
3. Statusの診断、またはチャット欄の/le statusと/le modelsで状態とIDを確認します。
4. 配信中のモデルをKyaluluの一覧から選びます。

LE内部のIDがollama/qwen3.5:9bなら、Kyaluluの自動登録IDはle:ollama/qwen3.5:9bです。この例はIDの形を示すもので、モデルが自動インストールされるという意味ではありません。自動列挙にはYAML不要です。明示的に設定を残す場合のexample-le.yamlでは、provider.type: leとprovider.model: ollama/qwen3.5:9bを使い、後者にle:を付けません。

GGUFのロード操作は/le load <id>、アンロードは/le unload [id]です。操作結果は会話履歴へ保存されません。ロードには時間とRAM／VRAMが必要で、一覧に載るだけでは生成可能とは限りません。トークンはAPI側が保持し、ブラウザーには渡しません。

LM Studio・Ollamaを直接接続する#

LEを使わず直接接続する場合は、models/example-lmstudio.yamlまたはmodels/example-ollama.yamlを別名でコピーし、独自のidと実際のモデル名に変更します。次は公開Ollama例の基本構成です。

id: my-qwen2-local
display_name: "My local Qwen2"
provider:
  type: ollama
  model: qwen2:7b
context_length: 8192
recommended_generation:
  temperature: 0.8
  top_p: 0.9

idはKyalulu内の識別子、provider.modelはエンジンが受け付ける名前です。Ollama側に同じモデルを用意し、.envのOLLAMA_URLを確認します。LM Studioの場合はprovider.type: lm_studioにし、サーバーでロードしたモデルのIDとLM_STUDIO_URLを合わせます。既定URLはそれぞれhttp://127.0.0.1:11434、http://127.0.0.1:1234/v1です。

APIを再起動するとYAMLがDBへ同期されます。モデル定義はYAMLが正本で、SQLiteはキャッシュです。文脈長や量子化の記載は実機性能の保証ではなく、モデルやロード設定と整合させる必要があります。変更後は診断を確認し、利用する段階で短い会話から試してください。

OpenAI互換APIと互換性の限界#

models/example-openai.yamlはprovider.type: openai_compatibleの例です。コピーした定義でモデルIDを接続先の実際のIDに合わせ、.envへベースURLとキーを設定します。

OPENAI_COMPATIBLE_URL=https://api.openai.com/v1
OPENAI_COMPATIBLE_API_KEY=YOUR_API_KEY
LLM_BASE_URL=
LLM_API_KEY=

これは公開設定にあるURLの形の例で、特定モデルの利用資格や動作確認を保証しません。URLの末尾に/chat/completionsを追加しないでください。LLM_BASE_URLやLLM_API_KEYが設定されていると対応する汎用エイリアスが優先されるため、意図しない接続を避けるには両方を確認します。

認証失敗はURLとキー、モデル不明はProvider側のID、遅延やロード失敗はエンジンとメモリー量を先に確認します。キャラクター設定を調整するときはキャラクター記事へ、その他の手順は一覧へ戻れます。