現在、オープンソースの大規模モデルの分野では、Llama3 は間違いなく最強です！Meta は今回、8B と 70B という 2 つのパフォーマンスの高い大規模モデルを無料で公開し、400B も近日中にリリースされます。これは GPT-4 と対戦できる存在です！今日は、3 つのローカルデプロイ方法を紹介します。簡単でわかりやすく、初心者に非常に適しています！
1. GPT4All: 低スペックのユーザーに適しており、CPU/GPU で実行できます【ダウンロードはこちら】
2. LMstudio: 8B/70B など、複数のモデルのダウンロードをサポートしています【ダウンロードはこちら】
注意：海外にいない場合、モデルをダウンロードすることができない場合は、後で Llama 3 の大規模モデルをクラウドストレージにアップロードします【ダウンロードはこちら】後で更新します.....
3. Ollama: マルチプラットフォームをサポート！Windows / Mac / Linux で実行できます【ダウンロードはこちら】
そして、Windows で WSL 機能を開きます。
Docker Desktop をインストールします：【こちらから進む】
その後、ローカルに webUI をインストールします。
- CPU で実行する場合：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- GPU で実行する場合：
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama