KoboldCPPでローカルLLM

最近はSillyTavernを使わずに直接KoboldCPPを使うことが増えてきた。SillyTavernはその登場人物の直前の発言に引きずられて、こちらの指示に従いにくいところがある。そういうときは発言を修正して続けることになるんだけど、毎回だとテンポが悪い。一対一の対話形式ならKoboldCPPでいいじゃん、という感じなので、最近はもっぱらKoboldCPPを使っている。

Lumimaid-Magnum-v4-12B は EasyNovelAssistantのときにお世話になったVecteus-v1に比べるとかなりRP性能が高く、また指示の理解能力もある程度満足行くレベルにあるように思う。さすがにトップレベルのLLMと比べるものではないけれど、表現規制がないし、下品な表現の出力が高い。このあたりは上品なLLMでは実現できない。

Google の Gemma3 も12Bを試してみた。うちのPCだと他の12Bのモデルよりちょっと遅いかなという感じだが、性能は流石に高く、一昔前のLLMと比べてもこっちのほうがいいとはっきりわかるレベル。電気代だけでいくらでも無限に回答させられる以上のメリットはないかもしれない、そういう用途ならLumimaidとかそういう用途に向いたモデルあるし。一応、無理やり規制を回避して回答させることはできるんだけど、そういう表現を知らない・出来ないので、下品な感じに仕上げたいときには厳しい。ちょっと乱暴な振る舞いをすると乱暴なのはよくない雰囲気を出してきたりする。暴力を尊ぶようなキャラクター性は表現するのが難しい。暴力を受け入れて喜ぶようなキャラクター性も表現するのが難しい。何も性的なことに限ったことではなく、行儀がいいモデルっていうのはそういう欠点があるよ、と。ERPに限らず、創作向きの自由な表現全般Lumimaidとかのほうが全然得意な可能性がある。LumimaidはMistralベースなので、Mistral AIの最近のモデルがもうちょっと戦えるといいんだけど、今のところ話題は埋もれてしまっている気がする。

しかしモデル切り替えて使うとか考えるとLM Studioでいいんじゃないかという気もしてきてしまう。たまにSillyTavernも使うし、KoboldCPPをローカルサーバとして立てて適当にアプリ作って遊んだりするのも楽しそうなので、使い方を覚えたのは悪くはなかったかなと思う。

特になんか成果物とかをさらしたりはしない。そのうちするかも。

こちらからは以上です。


追記

LM Studio も試してみた。モデルを切り替えられるのは便利そう。UIも混乱しにくいからこっちでいいかも。画像はバストを表現する擬音語に一家言ある Gemma3-12B。

半分冗談で半分本気の話として、Gemma3-12Bの日本語の擬音語に対する理解度はそれなりに高そうに見える。日本語の擬音語のデータが充分に学習されている感じ。

まだ試してないけどランダムな造語を音象徴から意味づけするみたいなのはもしかしたらLLMで実現できるかもしれない。というか言葉ってそもそも辞書ありきじゃなくて先に言葉があってその言葉の持つイメージのうち確率的に高そうなやつを載せてるのが辞書、でしかない。言葉を確率的に取り扱うのがLLMなので、辞書にない言葉をあえて辞書にある言葉と同じように分類するならどうなるか、みたいなのを任せるのに適切な気がする。

ちょっとおもしろくなってきたかも。なんかあればまた記事にしたい。