Ollama

Ollamaは、ローカルコンピュータでLLMをダウンロード、実行できるソフトウェアです。Windows、Mac、Linuxに対応しています。

特徴

Ollamaを実行すると、 ollama というコマンドがインストールされます。このコマンドを使って、LLMをダウンロード、実行できます。以下は Meta Llama 3 を実行するコマンドです。

ollama run llama3

他にも多数のモデルに対応しています。

library

実行すると11434番ポートでWebサーバーが立ち上がるので、Web APIを通じて操作できます。

curl http://localhost:11434/api/chat -d '{
  "model": "llama3",
  "messages": [
    {
      "role": "user",
      "content": "why is the sky blue?"
    }
  ]
}'

レスポンスは以下のように流れてきます。

{"model":"llama3","created_at":"2024-06-09T00:42:05.799549Z","message":{"role":"assistant","content":"What"},"done":false}
{"model":"llama3","created_at":"2024-06-09T00:42:05.855711Z","message":{"role":"assistant","content":" a"},"done":false}

HelgeSverre/ollama-guiを使うと、Web UIで操作できます。

Ollama GUI

料金

Ollamaはオープンソース・ソフトウェアであり、無償で利用できます（ライセンスはMIT Licenseです）。

URL

Ollama

PREVIOUSfreee

NEXTPhoton