LM StudioはローカルでLLM（Large Language Model）を検索、ダウンロード、実行するためのツールです。ChatGPTのようにチャットをしたり、サーバとして立ち上げて、APIを実行することもできます。
特徴
LM Studioは各種LLMをダウンロードし、ローカルで実行できます。モデルはあらかじめ用意されているものはもちろん、Hugging Faceを検索してダウンロードもできます。
ローカルで実行できるので、プライバシーに配慮したり、オフラインで利用することもできます。GPUの利用設定があり、その割合も指定できます。利用する際にはチャット型のUI、またはAPIを利用できます。同時に利用はできないので注意してください。
たとえば、APIでは以下のように実行します。
% curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"messages": [
{ "role": "system", "content": "Always answer in rhymes." },
{ "role": "user", "content": "Introduce yourself." }
],
"temperature": 0.7,
"max_tokens": -1,
"stream": false
}'
結果は以下のようになります。
{
"id": "chatcmpl-irkcz4bezpcdfsqfdpnlt",
"object": "chat.completion",
"created": 1710731385,
"model": "/path/to/gemma-2b-it-q8_0.gguf",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "I am here, ready to help you,\nWith rhymes and stories, I'll fulfill your need."
},
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 23,
"completion_tokens": 22,
"total_tokens": 45
}
}
モデルのサイズは小さなものであれば1GB程度、大きければ10数GBあります。また、サイズの大きなモデルではメモリも必要になります。メモリが不足している場合には実行できないので注意してください。
料金
LM Studioは無料で利用できます。