跑大語言模型，在 Azure 上該怎麼選？
客戶常用「買 GPU、自己訓練」的老觀念發問。在雲端，多數情況不需要先有 GPU。本頁用同一個模型（Llama 3.3 70B Instruct）比較三個方向，單價全部取自 Azure 官方零售價目 API，幣別為新台幣。
價格查詢日 2026-10-29 · 區域預設東南亞（新加坡），可切換日本東部 · 每月金額同時列出未稅與含稅 5%，不含 CSP／EA 折扣
三個方向
直接租用
不改模型，用多少付多少
在 Foundry 選好模型，拿到 API 就能用。依輸入與輸出的 token 計費，不需要 GPU 配額，今天就能開始。
- 適合：問答、摘要、客服、文件助理
- 搭配 RAG 讓模型讀你的資料
簡易微調
丟資料給 Azure 代訓
上傳你的範例資料，Azure 幫你訓練，不用管 GPU 與訓練程式。訓練按 token 計費，部署後另按小時收託管費。
- 適合：固定語氣、格式、專業術語
- 不適合：補充大量新知識（用 RAG）
自己租 GPU
VM + 硬碟 + 網路
租一台含 GPU 的虛擬機，自己裝環境、自己訓練或部署。完全可控，但要有人維運，也要先有 GPU 配額。
- 適合：自訂訓練流程、超大用量、需隔離環境
- 費用 = 運算 + 儲存 + 網路
流程圖：先釐清需求
從最上面開始，依序回答。答「是」往右看結論；答「否」往下一題。
需要讀自家文件就加 RAG
先確認模型支援 Serverless 微調
短期用 Spot，長期考慮預留
多節點 ND H100 叢集，需專案估價
是／否 引導推薦
回答幾個問題，馬上得到建議與估算費用（費用依下方試算設定連動）。
同一個模型的費用比較
三個方向都使用 Llama 3.3 70B Instruct。調整下列數字，所有金額即時重算。
每月費用長條圖（線性比例）
GPU 租用明細：運算 + 儲存 + 網路
客戶問「一台有 GPU 的機器要多少錢」，答案不只是 VM 那一行。下表是依上方設定算出的完整帳單項目。
開機前先檢查區域有沒有這個規格與配額
az vm list-skus --location southeastasia --size Standard_NC24ads_A100_v4 --output table az vm list-usage --location southeastasia --output table | grep -i "NCADS A100"
GPU 報價試算單
仿 Azure 定價計算機的估算方式：每個 GPU 方案各一份報價，含運算、儲存、網路。選方案、區域與計價方式，金額即時重算，可複製摘要或匯出 CSV。
| 計價方式 | 每月未稅 | 每月含稅 5% | 12 個月未稅 | 相較隨用隨付 |
|---|
官方單價表
來源：Azure Retail Prices API（prices.azure.com），currencyCode=TWD，priceType=Consumption，Linux，隨用隨付。金額為官方零售價，未含稅。
| 類別 | 項目（官方計量名稱） | 東南亞 | 日本東部 | 單位 |
|---|
注意事項與常見問題
客戶說「我要訓練自己的模型」，該怎麼回？
先問目的。想要的是回答更貼近公司資料，用 A + RAG；想要固定風格或格式，用 B；需要自己改模型架構或訓練流程，才是 C。
A 這麼便宜，為什麼還有人租 GPU？
用量夠大才划算。依目前設定，租 2 張 A100 整月的費用，足以買到下方「損益平衡點」所述數量的 token。低於這個量，A 較省，也不用維運。
可以只租幾天 GPU 做微調嗎？
可以。VM 按小時計費，用完刪除即停止運算費用。記得一併處理硬碟與公共 IP，它們不會因為關機而自動刪除。
台灣有 Azure 區域嗎？
Taiwan North 已有區域，但本次查詢該區沒有 A100／H100 GPU 的官方價目，所以本頁以東南亞與日本東部估算。上線前請再確認最新供應狀況。
地端 GPU 還需要考慮嗎？
需要長期固定高用量，或資料完全不能上雲時才評估。Azure Local 與 Foundry Local 是微軟的地端選項，細節另案說明。
資料來源：Azure Retail Prices API · Azure 定價計算機 · 虛擬機器定價 · 頻寬定價