2024 年 6 月 11 日，一支美國團隊發表了主題為 Scalable MatMul-free Language Modeling 的論文，立即轟動了整個 AI/ML 圈子。在此當下，大型語言模型（LLM）已成為關鍵技術，由於其計算資源需求龐大，特別是在矩陣乘法（MatMul）上成為發展上的性能瓶頸和成本負擔。Rui-Jie Zhu 等人的最新研究提出了一種完全消除矩陣乘法的語言模型（MatMul-free LM），論文中提到的做法為減少計算成本和提高模型效率帶來了新的希望。
什麼是 MatMul-free LM？
MatMul-free 語言模型是一種旨在完全消除矩陣乘法操作的語言模型。傳統的語言模型，如 Transformer，依賴於大量的矩陣乘法來實現自注意力機制和稠密層的計算。然而，這些操作在計算和記憶體方面都非常昂貴。MatMul-free 語言模型通過引入加法和 Hadamard 乘積來替代這些矩陣乘法，特別是在自注意力機制中，使用了經過優化的 GRU 結構，這使得計算過程中不再需要進行繁重的矩陣乘法。此外，該模型還使用了三值權重（-1, 0, +1），進一步減少了計算複雜度和記憶體需求。這種創新的方法使得模型能夠在保持高效能的同時，顯著降低計算資源的需求。
MatMul-free LM 的優勢
計算效率的大幅提升
這篇論文展示了如何通過加法和 Hadamard 乘積來替代傳統的矩陣乘法，從而顯著降低了計算成本。在自注意力機制中，通過優化的 GRU 結構，避免了繁重的矩陣運算，這一點在大規模參數模型中尤為關鍵。這種方法不僅減少了計算資源的使用，還提高了模型的運行速度，這對生成式 AI 的應用具有重要意義。
記憶體使用的顯著減少
該研究提供的 GPU 高效實現和 FPGA 加速器顯示，MatMul-free LM 在推理過程中的記憶體使用量可以減少達 10 倍以上，這對於需要即時處理的大型語言模型應用非常重要。降低記憶體使用不僅能提高運行效率，還能降低硬體成本，使得生成式 AI 在更廣泛的應用場景中變得更加可行。
硬體友好的設計
通過專門設計的硬體優化內核和 FPGA 加速器，這種新型模型展示了在定制硬體上的卓越性能，為未來生成式 AI 的硬體設計提供了新的方向。MatMul-free LM 的硬體實現展示了其在特定應用中的潛力，特別是那些對計算效率和能效要求較高的場景，如物聯網設備和邊緣運算。
MatMul-free LM 與傳統 LLM 的比較
性能差距
儘管 MatMul-free LM 在多個基準測試中展示了與傳統 Transformer 模型相當的效能，但在某些特定任務上仍存在輕微的性能劣勢。這一點在需要高精度的應用中可能會成為一個障礙。例如，在涉及複雜語言理解和生成的任務中，傳統模型可能仍具有一定的優勢。
規模擴展
該模型在十億參數級別上顯示了良好的效能，但尚未在超大型模型（如百億參數級別）上進行充分測試。隨著模型規模的增加，如何保持性能和穩定性將是一大挑戰。這需要更多的研究來驗證 MatMul-free LM 在更大規模下的可行性和穩定性。
硬體依賴與通用性
雖然該模型在特定硬體上的優化效果顯著，但對於不同硬體平台的通用性和適應性仍需進一步研究。尤其是在 FPGA 上的實現，可能需要專門的硬體設計和優化，這對於大多數應用場景來說，可能並不那麼容易實現。這也意味著 MatMul-free LM 的推廣可能會受到硬體條件的限制。
MatMul-free LM 的發展潛力
減少對 GPU 的依賴
MatMul-free LM 的提出為生成式 AI 的發展帶來了新的契機。其硬體友好的設計和顯著降低計算成本的能力，使其在未來有可能減少對 GPU 的依賴，甚至在特定應用中完全替代 GPU。然而，這需要更多的研究和驗證，特別是在超大型模型和多樣化應用中的性能測試。如果能夠成功推廣，這將對生成式 AI 的發展產生深遠影響。
擴展應用場景
MatMul-free LM 展示了在多種應用場景中的潛力，特別是那些對計算資源有限制的環境，如移動設備和邊緣運算。通過降低記憶體和計算資源的需求，MatMul-free LM 可以在更多領域中得到應用，推動生成式 AI 技術的普及和發展。
MatMul-free LM 的未來
MatMul-free LM 展示了生成式 AI 領域的一個重要突破，為減少計算資源需求和提高模型效率提供了新的思路。儘管在某些方面仍存在挑戰，但其潛在的發展性不容忽視。如果未來能夠解決規模擴展和硬體通用性的問題，這一技術有望成為下一代生成式 AI 模型的重要基礎，減少對 GPU 的依賴，推動生成式 AI 的進一步發展。
原始論文
Rui-Jie Zhu, Yu Zhang, Ethan Sifferman, Tyler Sheaves, Yiqiao Wang, Dustin Richmond, Peng Zhou, Jason K. Eshraghian. “Scalable MatMul-free Language Modeling” arXiv preprint arXiv:2406.02528(2024).