LM Studio

Ollamaのメンタルモデルで、LM Studioを導入する。

上からやれば、LM Studioが動く。Gemma 4 12Bが動くとは、限らない。

モチベーション

Gemma 4 12BをLinuxで動かしたい。

Ollamaで、12Bは、検証時点でMLX(Apple Silicon専用に設計されたオープンソースMLフレームワーク)モデルしかないため、LM Studioを導入する。

環境

$ cat /etc/redhat-release 
AlmaLinux release 10.2 (Lavender Lion)
$ 

CPU: Intel Core i5第 8世代
メモリ: 7.7GB

インストール

curl -fsSL https://lmstudio.ai/install.sh | bash

## To add lms to your PATH
grep '.lmstudio/bin' ~/.bash_profile || echo 'export PATH="${HOME}/.lmstudio/bin:$PATH"' >> ~/.bash_profile 

exit

デーモン起動

lms daemon up

lms server start --port 1234

モデルのダウンロード

lms get gemma --gguf

# google/gemma-4-e4bをダウンロードする。

wgetで、GGUFをダウンロード、hfコマンドでダウンロードを試みたが、lms getが一番シンプルで易しかった。

https://huggingface.co/docs/hub/lmstudio

Hugging Face – The AI community building the future.

モデル確認

lms ls

LM Studio + PROXY配下時のモデルダウンロードの方法

動作確認

モデル確認、API動作確認

curl http://localhost:1234/v1/models | jq

Curlを使ったAPI動作確認

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "google/gemma-4-e4b",
    "messages": [
      {
        "role": "user",
        "content": "ミュウの図鑑の説明を教えて。"
      }
    ],
    "temperature": 0.7
  }'

{
  "id": "chatcmpl-kthl0fwsz29h4wg6nm9vf",
  "object": "chat.completion",
  "created": 1780657142,
  "model": "google/gemma-4-e4b",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "ミュウの図鑑説明ですね。どの世代や資料集に基づいているかに...
...

12Bはうごがねがった。Macを使おう。

{
    "error": {
        "message": "Failed to load model \"google/gemma-4-12b\". Error: Error loading model.",
        "type": "invalid_request_error",
        "param": "model",
        "code": null
    }
}

モデルの形式が違うのか、スワップしてくれないか、VRAMを使おうとして溢れている模様。

と、書き終わったところでOllamaにgemma4:12bも出ていることが分かったので、LM Studioは要らなくなった。