ローカルLLMも使ってみよう ～ @donpy通信【786号:2026/10/06版】
今週も利用枠が徐々になくなってきました。土曜まで本当に持つのか？？というわけで利用枠なくなったとき用におもちゃを用意してみました。
[22:29] [0076:雑記] ローカルLLMもつかってみよう
暇さえあれば、ChatGPTに触れていますが、触れていたら何かしたくなってしまって、無駄に利用枠を消費してしまっています。今週もすでに大ピンチです。
あと3日で35%ってまあ無理でしょうね。。。今週はリセットボタンもないので本当にピンチ。ってことで、ローカルLLMで遊ぶ準備を始めました。
ちっさｗ
でもこれでいいのです。変に内容見えちゃう方が恥ずかしいですので。。。
というわけで、ローカルLLMに3つほどのモデルをインストールしてすこし比べてみたりしてました。ChatGPTとは違って、いろいろ最適化しないとまともに使えないんですね。
これはこれで勉強になってよいですね。
もともと使っていた環境ではGPUをほとんど使ってなかったのでめちゃくちゃ遅かったのですが、設定をいじるとかなり快適になりました。Qwen 3.5-9b というモデルならまあそこそこ動くかなと言った感じですが、普段から ChatGPT 使っていてそれに慣れているとどうしても能力がちょっと低いのかなと思える動作がちょっとストレスだったりします。
そりゃあ、このモデルだと学習量もぜんぜん少ないみたいですし、ローカルLLMのモデルについてはもっと勉強してどんなモデルをつかったらいいか決めていくところと最適化が最初の「遊び」になりそうですよ。
簡単なメモの要約とかできるようになってくれたらそれはそれで楽しいのでその辺からやってみようと思いました。