因為AI對算力的龐大需求，市面上的高算力GPU一直是各方爭搶的香餑餑，而英偉達(dá)也因此賺得盆滿缽滿。不過現(xiàn)在英偉達(dá)又動起了別的心思。

自己作為GPU廠商，為什么不下場做大模型呢？近日，英偉達(dá)推出了自家的全新大模型——ChipNeMo，號稱擁有430億參數(shù)。

專為芯片設(shè)計而生的大模型

據(jù)英偉達(dá)官方表示，ChipNeMo專注于輔助芯片設(shè)計，旨在提高工程師的工作效率。這一大語言模型的應(yīng)用范圍廣泛，包括問答、EDA腳本生成和Bug總結(jié)等任務(wù)，使芯片設(shè)計變得更加便捷。

圖源：站長之家

研究人員并沒有直接部署現(xiàn)成的商業(yè)或開源LLM，而是采用了以下領(lǐng)域適應(yīng)技術(shù)：自定義分詞器、領(lǐng)域自適應(yīng)持續(xù)預(yù)訓(xùn)練（DAPT）、具有特定領(lǐng)域指令的監(jiān)督微調(diào)（SFT），以及適應(yīng)領(lǐng)域的檢索模型。

結(jié)果表明，與通用基礎(chǔ)模型相比（如擁有700億個參數(shù)的Llama 2），這些領(lǐng)域適應(yīng)技術(shù)能夠顯著提高LLM的性能。

英偉達(dá)首席科學(xué)家Bill Dally強(qiáng)調(diào)，即使提高生產(chǎn)率的幅度不大，使用ChipNeMo仍然是值得的。ChipNeMo的數(shù)據(jù)集包括Bug總結(jié)、設(shè)計源、文檔以及硬件相關(guān)的代碼和自然語言文本，經(jīng)過數(shù)據(jù)采集、清洗和過濾后，共有241億個token。

英偉達(dá)采用了領(lǐng)域自適應(yīng)技術(shù)，包括自定義標(biāo)記器、領(lǐng)域自適應(yīng)持續(xù)預(yù)訓(xùn)練、帶有領(lǐng)域特定指令的監(jiān)督微調(diào)等方法，以提升大語言模型在工程助理聊天機(jī)器人、EDA腳本生成和Bug摘要和分析等領(lǐng)域的性能。

結(jié)果顯示，這些領(lǐng)域自適應(yīng)技術(shù)不僅提高了性能，還減小了模型大小，但仍有改進(jìn)空間。英偉達(dá)的這一舉措標(biāo)志著大語言模型在半導(dǎo)體設(shè)計領(lǐng)域的應(yīng)用邁出了重要的一步，為專業(yè)化領(lǐng)域提供了有用的生成式AI模型。

針對大模型的幻覺問題，研究人員選擇了檢索增強(qiáng)生成（RAG）的方法。研究人員發(fā)現(xiàn)，在RAG中使用與領(lǐng)域相適應(yīng)的語言模型可以顯著提高特定領(lǐng)域問題的答案質(zhì)量。

此外，使用適量的特定領(lǐng)域訓(xùn)練數(shù)據(jù)對現(xiàn)成的無監(jiān)督預(yù)訓(xùn)練稠密檢索模型進(jìn)行微調(diào)，可顯著提高檢索準(zhǔn)確率。

用AI設(shè)計芯片，將是未來？

實(shí)際上，包括英偉達(dá)在內(nèi)的諸多科技企業(yè)或研發(fā)機(jī)構(gòu)很早就在嘗試?yán)�用AI來設(shè)計芯片。今年6月，紐約大學(xué)Tandon工程學(xué)院的研究人員就通過GPT－4造出了一個芯片。研究人員利用GPT－4僅用19輪對話，就造出了130nm芯片，并通過了Skywater 130nm穿梭機(jī)的流片測試。

圖源：機(jī)核

2022年4月，英偉達(dá)首席科學(xué)家Bill Dall公開了內(nèi)部的重點(diǎn)研究與工作項目，提到其目標(biāo)是利用人工智能來改進(jìn)自己的產(chǎn)品，比如在其GPU產(chǎn)品設(shè)計工作中，大量采用人工智能輔助，來加速以及最佳化GPU芯片的設(shè)計，相關(guān)設(shè)計甚至涉及供電模擬設(shè)計、從電路到GPU規(guī)模的大型積體電路設(shè)計、架構(gòu)網(wǎng)絡(luò)以及儲存系統(tǒng)管理等。

同時，英偉達(dá)依托人工智能芯片設(shè)計工具，可以根據(jù)標(biāo)準(zhǔn)的處理單元布局來自動產(chǎn)生芯片的設(shè)計圖，也可以用來檢驗人類員工設(shè)計出來的芯片布局中有無錯誤。據(jù)Bill Dally當(dāng)時的說法，這套工具只需要在配備兩個GPU的平臺上，短短幾天的時間，就可以超過一組十人員工一年的工作份量。

今年3月，英偉達(dá)也推出了四款推理平臺。這些平臺針對各種快速興起的生成式AI應(yīng)用進(jìn)行優(yōu)化，能夠幫助開發(fā)人員快速構(gòu)建用于提供新服務(wù)和洞察的 AI 驅(qū)動的專業(yè)應(yīng)用。這些平臺可以將NVIDIA全棧推理軟件與最新的 NVIDIA Ada、Hopper 和 Grace Hopper 處理器相結(jié)合，針對AI視頻、圖像生成、大型語言模型部署、推薦系統(tǒng)推理等需求激增的工作負(fù)載進(jìn)行優(yōu)化。

除了英偉達(dá)之外，微軟、谷歌、ARM、Cadence和Synopsys等公司和機(jī)構(gòu)都在利用AI技術(shù)進(jìn)行芯片設(shè)計，以提高芯片設(shè)計的效率和精度。

例如，谷歌利用AI技術(shù)設(shè)計出了專門針對圖像和視頻處理的張量處理單元（TPU）芯片，該芯片在谷歌云平臺上的TensorFlow框架中使用，為機(jī)器學(xué)習(xí)任務(wù)提供了高性能的計算支持。

此外，微軟研究院也利用AI技術(shù)設(shè)計出了一種基于Transformer模型的神經(jīng)芯片，該芯片可以并行處理多個計算任務(wù)，提高芯片的計算效率和能效。