隨著人工智慧和自然語言處理技術的發展，大型語言模型（LLMs）變得越來越普及，開源進而能夠自行微調的模型如 Meta 所推出的 Llama 3 也不斷推出。然而，微調大型語言模型往往需要大量的 GPU 記憶體，這對許多使用者來說是一個不小的挑戰。本篇文章將探討微調 LLMs 所需的 GPU 記憶體需求，並介紹一些有效利用 GPU 資源的技巧，讓你在有限的硬體資源下也能順利完成模型訓練。
微調大型語言模型需要多少 GPU 記憶體？
LLMs 的發展歷程
大型語言模型的誕生與發展，從 Transformer 模型的出現開始，帶來了自然語言處理領域的革命。這些模型越來越大，性能越來越強，但同時也對計算資源提出了更高的要求。
GPU 記憶體需求的因素
在微調 LLMs 時，GPU 記憶體需求主要受以下幾個因素影響：
- 模型參數數量：參數越多，所需的記憶體越大。
- 批次大小（batch size）：批次越大，單次訓練所需的記憶體越多。
- 訓練方法：不同的分布式訓練方法如數據並行（DP）和張量並行（TP）對記憶體的影響不同。
一個 7B 模型微調需要多少 GPU 記憶體？
記憶體需求估算公式
對於 7B 模型（包含約 70 億個參數），我們需要考慮以下幾個記憶體使用的主要部分：
- 模型參數：模型的參數數量是記憶體使用的最大部分。對於 7B 模型，其參數量約為 7,000 百萬個，通常每個參數佔用 4 bytes。
m_{p} = 7,000,000,000 \times 4 \text{ bytes} = 28,000,000,000 \text{ bytes} = 26.3 \text{ GB}- 優化器狀態：常見的優化器如 Adam 或 AdamW，其狀態變量（動量和梯度）也會佔用一定的記憶體。這部分的記憶體使用量通常是參數數量的 2 倍。
m_{\text{os}} = 2 \times 26.3 \text{ GB} = 52.6 \text{ GB}- 批次大小（batch size）：假設我們使用一個批次大小為 32 的訓練數據，數據的記憶體需求取決於數據格式和數據的維度。一般來說，數據的記憶體需求大約是每個樣本的大小乘以批次大小。
m_{\text{data}} = \text{樣本大小} \times \text{批次大小} = 32 \times \text{樣本大小}- 其他臨時記憶體：在訓練過程中，還會有一些臨時變量，如中間層的輸出和反向傳播所需的緩衝區。這部分的記憶體使用量通常在模型參數的數倍範圍內。
m_{\text{tmp}} = \text{模型大小} \times \text{數倍因子}將上述所有部分加總，得出總記憶體需求：
m_{\text{total}} = m_{p} + m_{\text{os}} + m_{\text{data}} + m_{\text{tmp}}7B模型微調的記憶體需求
對於一個 7B 模型，微調過程中的記憶體需求可以通過以下公式進行估算：
m_{\text{total}} = 28.3 \text{ GB (模型參數)} + 52.6 \text{ GB (優化器狀態)} + m_{\text{data}} + m_{\text{tmp}}根據不同的訓練設置和數據集，實際的記憶體需求會有所不同，但這個估算提供了一個基本的參考。
如何更加有效地利用GPU資源？
既然能夠透過公式來計算微調所需的記憶體，我們如何能夠更有效地使用 GPU？例如 NVIDIA H100 Tensor 核心 GPU 提供了 80GB 的記憶體，即將上市的 H200 則預計搭載 141GB 的記憶，訓練 LLM 也許不太夠使用，但用於微調上卻也有資源閒置的問題，此時我們能夠透過 NVIDIA MIG 技術來提升 GPU 的使用效率 。
MIG（Multi-Instance GPU）
MIG（Multi-Instance GPU）是 NVIDIA 提供的一項技術，可以將單個物理 GPU 分割成多個獨立的實例，每個實例都有自己獨立的計算和記憶體資源。這樣，你可以同時運行多個任務，提高 GPU 的利用效率。
實際應用中的性能分析
根據 NVIDIA 的測試數據，使用 MIG 技術可以顯著提高 GPU 資源的利用率。例如，在 A100 GPU 上同時運行多個小型模型的微調任務時，使用 MIG 可以顯著縮短總訓練時間並提高吞吐量。具體數據顯示，使用 MIG 分割的 A100 GPU 同時微調 7 個模型時，總訓練時間縮短了約 32.5%，吞吐量提高了約 48.1%【17†source】 。
MIG技術的具體應用
使用 MIG 技術時，您可以將 A100 GPU 分割為多個獨立的實例。例如，您可以將一個 A100 GPU 分成七個實例，每個實例可以運行一個不同的模型。這樣，不僅能提高資源利用率，還能減少訓練時間。
在大訓練時代，微調大型語言模型對 GPU 記憶體的需求極高。MIG 技術提供了一種靈活、高效的方式來管理和利用 GPU 資源，特別適合於多租戶和多任務環境中。未來，隨著更多技術的發展和應用，GPU 資源的利用效率將進一步提升，為人工智慧和自然語言處理的發展提供更強大的支持。
參考文獻
- NVIDIA Technical Blog. Getting the Most Out of the NVIDIA A100 GPU with Multi-Instance GPU
- AWS Containers. Maximizing GPU utilization with NVIDIA’s Multi-Instance GPU (MIG) on Amazon EKS
- Fang, J., Zhu, Z., Li, S., Su, H., LLMem: Estimating GPU Memory Usage for Fine-Tuning Pre-Trained LLMs. Taeho Kim, Yanming Wang, Vatshank Chaturvedi, Lokesh Gupta, Seye