banner
Darling

Darling

github
email

本地部署 Llama3 – 8B/70B 大模型!最簡單的方法:支援CPU /GPU運行 | 3種方案

image

目前在開源大模型領域,Llama3 無疑是最強的!這次 Meta 不僅免費公布了 8B 和 70B 兩個性能強悍的大模型,400B 也即將發布,這是可以和 GPT-4 對打的存在!今天我們就來介紹 3 個本地部署方法,簡單易懂,非常適合新手

1. GPT4All :  適合低配置用戶,可以在 CPU/GPU 上跑 【點擊下載
image

2.LMstudio ,支持下載多模型 8B/70B 等,模型選擇更多!【點擊下載
image

提醒:如果你不在海外,實在下載不了模型,稍後會把 Llama 3 大模型上傳到網盤 【點擊下載】稍後更新…..

3.Ollama,支持多平台!Windows / Mac /Linux 都可以運行 【點擊下載
image

並在 Windows 上打開 WSL  功能

安裝 Docker Desktop :【點擊前往

然後本地安裝 webUI

  • 在 CPU 下運行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

  • 支持 GPU 運行:
    docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
載入中......
此文章數據所有權由區塊鏈加密技術和智能合約保障僅歸創作者所有。