AIGC時代，新的計算范式正在探索發(fā)展之中。用CPU加速AI推理過程，這已經(jīng)是被實踐檢驗和驗證的最佳路徑。CPU在執(zhí)行涉及大量順序計算的推理任務時尤為高效。QYResearch的調研報告顯示，2023年全球AI推理服務器市場規(guī)模大約為740億元，預計到2030年將增加到2676億元，年復合增長率高達18.9%。

AI推理在高性能計算資源方面的持續(xù)放量，將進一步激發(fā)CPU的創(chuàng)新。

AI推理需要什么樣的CPU?

服務器機頭是服務器的核心部件，主要用于管理和協(xié)調計算集群的服務器節(jié)點。在常見的高端AI服務器上，每8個GPU就要配備2個CPU，即是想通過CPU來協(xié)調和管理相關的加速硬件，確保高效協(xié)同地工作，加速數(shù)據(jù)處理和AI推理。

CPU是服務器機頭中最重要的組成部分，負責執(zhí)行指令和處理數(shù)據(jù)，可謂重中之重。CPU的性能和能力直接決定了服務器的整體性能和處理效果。因此，用戶在選擇AI推理服務器時，評估CPU的整體性能是非常重要且必要的。面向不同的應用場景和工作負載，選擇架構最優(yōu)，性能、核心數(shù)量、線程數(shù)量等指標完美匹配應用需求的CPU也是一門學問。

所謂AI推理，即利用訓練好的模型對新的數(shù)據(jù)進行預測和分析，它對服務器提出了高性能、高可擴展性、低延遲、高安全性等更為嚴苛的要求。

1. 頻率高，性能更高

‌在AI推理過程中，CPU的頻率是一項十分重要的性能指標，因為它直接影響到計算速度與效率。高主頻的CPU能夠提供更快的計算速度，這對于處理復雜的AI推理任務來說是必須的。根據(jù)實踐經(jīng)驗，選擇高主頻的CPU，才能確保在處理大量數(shù)據(jù)和復雜計算任務時，CPU能夠從容自如，性能與效率比翼齊飛‌。此外，在處理多個任務時，多核處理器可以更加游刃有余，有效提升AI推理的速度。

AMD第四代EPYC處理器平臺(Genoa)采用Zen 4微架構，主要面向的就是人工智能、多云工作負載、高性能計算、實時分析等場景。AMD Genoa CPU的主頻是3.51GHz。在GeekBench 5基準測試中，AMD Genoa CPU的單核成績?yōu)?460分，多核成績?yōu)?6535分，表明其在多核性能上比上一代EPYC Milan 7763有了顯著提升，多核性能提升28%。

AMD Genoa CPU不僅具有更高的核心頻率，還能支持更多的核心數(shù)同時達到最高頻率，這也讓它成了AI推理的理想之選。

2. 大緩存，好處多

通常來說，擁有三級緩存的CPU在處理海量數(shù)據(jù)和高并發(fā)任務時，具有更高的效率，能夠大幅度提升多任務處理和多線程應用的性能。所以，對于需要高性能計算的AI推理來說，三級緩存是更優(yōu)的選擇。在AI推理過程中，需要處理已訓練模型的決策或識別，涉及復雜邏輯、控制流任務和大量數(shù)據(jù)。對于CPU而言，高速的L1和L2緩存，協(xié)同大容量的L3緩存，能夠達到更高的緩存命中率（意味著大部分數(shù)據(jù)可以在緩存中找到，而無需從主存儲器中讀取），因此能夠加快AI模型的處理和分析。

‌

與上一代EPYC Milan相比，AMD Genoa除了將L2緩存容量翻倍，提升至每核心1MB，還能支撐每8個核心共享32MB三級緩存。而AMD Genoa-X系統(tǒng)則能提供每8個核心共享96M三級緩存，從而為AI推理業(yè)務提供了更加強大的助力。

3. 內存大而快，推理穩(wěn)且迅

對于AI推理應用來說，CPU的內存速率一直是個關鍵要素，因為它直接關系到模型加載、數(shù)據(jù)處理和結果輸出的速度。較高的內存速率，意味著CPU能夠更快速地處理大量數(shù)據(jù)，提高AI推理的效率。另外，CPU的內存容量也不容忽視。隨著模型持續(xù)“膨脹”，內存容量也要水漲船高。CPU通過增加更多的內存通道，能夠支持更大的內存容量、提供更大的內存帶寬，同時也能更好地適配DDR5內存，這對于提升處理器的整體性能至關重要。只有內存容量與速率同步增長，才能更好地勝任AI推理任務。

AMD Genoa系列所有型號的CPU均支持高達4800MT/s的DDR5內存速度，雙路理論上可支持的內存帶寬最大可達920Gbps。另外，每個AMD Genoa CPU擁有12個內存通道，支持多達24個DIMM模塊‌。這些特性使得AMD Genoa能夠為AI推理提供充足的內存帶寬和容量。AMD Genoa CPU的內存設計兼顧了效率與穩(wěn)定性，基于高速的DDR5內存與優(yōu)化的內存架構，可以確保高負載情況下系統(tǒng)的穩(wěn)定運行和數(shù)據(jù)處理的快速響應�？傊�，AMD Genoa CPU不會在內存上“掉鏈子”。

唯一同時擁有GPU、CPU、FPGA平臺性解決方案的AMD，其全面性以及針對特定應用需求的設計和優(yōu)化能力，使其在AIGC時代能夠繼續(xù)挺立潮頭。尤其是在AI推理應用中，AMD EPYC CPU受到了眾多企業(yè)用戶的青睞。AMD第四代Genoa EPYC 9004系列的推出，讓AI推理的執(zhí)行能力又邁上了一個新臺階。

AMD EPYC是“多面手”

從金融安全到氣象預報，從醫(yī)療診斷到游戲娛樂，AI推理技術應用的場景可謂五花八門、多種多樣。也正因為如此，針對不同的應用領域和具體的場景，選擇最適合的服務器乃至CPU型號，才能做到事半功倍。

面向AI推理選擇CPU時，應綜合考慮其計算速度、延遲、AI優(yōu)化能力、性價比，以及軟件生態(tài)等諸多因素，以確保AI推理應用的性能和效率都能達到最佳。從AMD EPYC 9334、AMD EPYC 9454、AMD EPYC 9534等CPU的性能以及綜合能力來看，都能各自撐起AI推理應用的一片天。

從相似之處來說，AMD EPYC 9334、AMD EPYC 9454、AMD EPYC 9534都具有高主頻、多核心、大帶寬等優(yōu)勢，具有非常優(yōu)異的性價比和能效比。舉例來說，由于Zen 4架構的引入，AMD EPYC 9004相比上一代產(chǎn)品，在每時鐘周期執(zhí)行指令數(shù)上提升了約14%，再加上更高的頻率，大大提升了性能。再比如，AMD EPYC 9004擁有更多的核心與線程數(shù)量，相比上一代產(chǎn)品增加了50%，最高可達96個核心，而且支持同步多線程，兼具高并發(fā)與低延遲的優(yōu)勢。另外，AMD EPYC 9004引入了DDR5內存，這是目前較新的內存標準，再加上擴展到12個內存通道，以及多達128條PCIe 5.0通道，如同為大規(guī)模數(shù)據(jù)傳輸鋪就了“高速公路”，使得CPU在處理海量數(shù)據(jù)和高性能計算任務時，具有更高的效率和速度。AMD EPYC 9004整體上的優(yōu)異表現(xiàn)，讓AI推理變得更加快捷高效。

AMD EPYC 9334、AMD EPYC 9454、AMD EPYC 9534又各具所長，能夠滿足不同用戶和特定工作負載的需求。AMD EPYC 9334 2.70GHz 32核處理器集更多功能于一身，通用性最強，并以高性能、高效率、強大的虛擬化能力和出色的散熱管理著稱，可以滿足各種數(shù)據(jù)處理量大和標準企業(yè)基礎架構應用程序所需。AMD EPYC 9454 2.75GHz 48核處理器，支持DDR5-4800內存，配備256MB的高速緩存，功耗為290W。這些特性使得AMD EPYC 9454成為處理大量數(shù)據(jù)和運行復雜計算任務時的理想選擇。AMD EPYC 9534讓人印象最深刻的就是它的“均衡性”。它擁有2.45GHz基準頻率、64個核心和256MB三級緩存，不僅性能更高，而且可以更高效地調配系統(tǒng)資源。在AI推理方面，AMD EPYC 9534是最優(yōu)性價比之選。

AI無止境 CPU再升級

未來，AI推理還有很長的路要走，包括推理分析、創(chuàng)意生成、情緒智能、多模態(tài)技術等，最終要與人類智能對齊。由此可見，支撐AI推理的服務器和CPU重任在肩。‌

隨著數(shù)據(jù)量的迅猛增長，以及算法復雜性的持續(xù)提升，成本與技術復雜度方面的挑戰(zhàn)與日俱增，需要不斷增加新的內核、GPU等，在提高處理效率的同時，還要兼顧能耗等相關問題。乘著AI的翅膀，AMD EPYC處理器也要在高性能計算、安全性提升、能效優(yōu)化以及適應未來新技術發(fā)展等方面百尺竿頭，更進一步。