Hugging Face 模型部署：從下載到推論 API 的完整流程

本文將帶您完整掌握 Hugging Face 模型部署的流程，包括模型下載、本地推論測試、以及如何將模型架設為可提供服務的推論 API。透過 Flask 或 FastAPI，您可以在 10 分鐘內將開源模型轉換為企業級 AI 服務，應用於文字生成、情感分析、影像識別等場景。

環境準備與帳號設定

在開始部署之前，需要先準備好開發環境並完成 Hugging Face 帳號設定。首先，請確保 Python 版本為 3.8 以上，並安裝必要的套件：

pip install transformers torch flask fastapi uvicorn

若要存取私人模型或使用付費功能，需要在 Hugging Face 官網註冊帳號並產生 Access Token。產生方式如下：登入後點擊頭像 → Settings → Access Tokens → Create new token。建議將 Token 設為「write」權限以便部署模型。

在 Python 環境中登入的方式：

from huggingface_hub import login
login(token="your_access_token_here")

模型搜尋與下載

Hugging Face Hub 擁有超過 50 萬個模型，涵蓋 NLP、CV、語音等領域。您可以透過以下方式搜尋適合的模型：

  • 網站搜尋：前往 huggingface.co/models，使用關鍵字過濾任務類型（如 text-classification、image-classification）
  • Python API：使用 huggingface_hub 庫搜尋模型

模型下載非常簡單，transformers 庫會自動處理模型權重、Tokenizer 和設定檔的下載：

from transformers import pipeline

# 建立一個情感分析 pipeline
classifier = pipeline("sentiment-analysis")
result = classifier("I love learning AI!")[0]
print(f"標籤: {result['label']}, 信心分數: {result['score']:.4f}")

指定模型載入與自訂配置

除了使用預設模型，您可以指定下載特定的模型和版本。載入大型模型時，建議設置 device_map="auto" 自動分配 GPU 資源：

from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_name = "nlptown/bert-base-multilingual-uncased-sentiment"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(
    model_name,
    device_map="auto"
)

# 自訂推論
inputs = tokenizer("這是一個很棒的产品！", return_tensors="pt", padding=True, truncation=True)
outputs = model(**inputs)
print(outputs.logits)

架設推論 API 服務

將模型部署為 API 服務是最常見的生產應用方式。以下使用 FastAPI 架設簡單的推論端點：

from fastapi import FastAPI
from transformers import pipeline
import uvicorn

app = FastAPI(title="Hugging Face Inference API")
classifier = pipeline("sentiment-analysis", model="nlptown/bert-base-multilingual-uncased-sentiment")

@app.post("/predict")
async def predict(text: str):
    result = classifier(text)[0]
    return {"text": text, "sentiment": result["label"], "score": result["score"]}

if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=8000)

啟動服務後，可透過 POST 請求測試：

curl -X POST "http://localhost:8000/predict" -H "Content-Type: application/json" -d '{"text": "這個產品很好用"}'

部署優化與 Production 最佳實踐

實際生產環境中，需要考慮以下優化策略：

  1. 模型量化：使用 torch.compile() 或 4-bit 量化減少記憶體使用
  2. 批次處理：合併多個請求提升吞吐量
  3. 快取機制：對常見輸入結果進行快取
  4. 容器化部署：使用 Docker 封裝環境，確保部署一致性

若不想自行維護伺服器，也可以直接使用 Hugging Face 的 Inference Endpoints 服務，支援自動擴展與負載平衡，適合對穩定性要求高的企業應用。