ChatGPTは便利ですよね。私も仕事とかで文章を作成するのが面倒な時にChatGPTに丸投げして、それっぽい文章を作成してもらったりしています。
そんな便利なツールではありますが、APIとか使うために、OpenAIに課金はしたくないという思いがふつふつと湧き上がってきました。
「せっかくローカルマシンの性能がこれだけ上昇しているのだから、手元でAPIサーバーも動かしてやろうじゃない」ということで、何かいいツールはないかと探していたところ、よさそうな感じのソフトを見つけました。
LM Studioとは
LM Studioは、ローカル環境でLLM（大規模言語モデル）を動作させるためのソフトです。HuggingFaceに公開されている多数の言語モデルをLM Studioを使って動作させたり、言語モデルを管理することができます
LM Studioのインストール
公式サイトからインストーラーをダウンロードしたら、あとは流れでわかると思います。
言語モデルのダウンロード
言語モデルは、LM Studioの検索ページを使って検索することができます。LM Studioから検索できる言語モデルは、Hugging Faceにアップロードされているものを参照しているようです。私はdeepseek coder 6 instruct Q4_K_Mを使ってプログラミングのサポートをしてもらったりしてます。
LM Studioで遊んでみる
GPUの設定
サイドバーに表示されるSettinng>GPU Acceleration>n_gpu_layersを-1に設定しておくと、GPUのパワーを全開で使ってくれるみたいです。
言語モデルの実行
UIはChatGPTと非常によく似ているので、困ることはないと思います。モデルの切り替えを行うには、チャット画面の上部にあるモデル名をクリックして、ダウンロード済みのモデルのリストの中から選びます。
サーバーとして起動
LM Studioを導入したかった理由の半分以上が、「GUIだけでサーバーとしても起動できる」という機能があったからです。
サーバーとして起動するには、Local Serverのタブを開いて、「Start Server」と書かれたボタンを押すだけです。すごく簡単。
この機能を使って、ChatDevをローカルで動かしてみようと考えております。記事にするかはお楽しみに。
コメント