英偉達(dá)也搞起大模型?半導(dǎo)體行業(yè)迎來大挑戰(zhàn),這回是為了芯片設(shè)計
因為AI對算力的龐大需求,市面上的高算力GPU一直是各方爭搶的香餑餑,而英偉達(dá)也因此賺得盆滿缽滿。不過現(xiàn)在英偉達(dá)又動起了別的心思。
自己作為GPU廠商,為什么不下場做大模型呢?近日,英偉達(dá)推出了自家的全新大模型——ChipNeMo,號稱擁有430億參數(shù)。
專為芯片設(shè)計而生的大模型
據(jù)英偉達(dá)官方表示,ChipNeMo專注于輔助芯片設(shè)計,旨在提高工程師的工作效率。這一大語言模型的應(yīng)用范圍廣泛,包括問答、EDA腳本生成和Bug總結(jié)等任務(wù),使芯片設(shè)計變得更加便捷。
圖源:站長之家
研究人員并沒有直接部署現(xiàn)成的商業(yè)或開源LLM,而是采用了以下領(lǐng)域適應(yīng)技術(shù):自定義分詞器、領(lǐng)域自適應(yīng)持續(xù)預(yù)訓(xùn)練(DAPT)、具有特定領(lǐng)域指令的監(jiān)督微調(diào)(SFT),以及適應(yīng)領(lǐng)域的檢索模型。
結(jié)果表明,與通用基礎(chǔ)模型相比(如擁有700億個參數(shù)的Llama 2),這些領(lǐng)域適應(yīng)技術(shù)能夠顯著提高LLM的性能。
英偉達(dá)首席科學(xué)家Bill Dally強(qiáng)調(diào),即使提高生產(chǎn)率的幅度不大,使用ChipNeMo仍然是值得的。ChipNeMo的數(shù)據(jù)集包括Bug總結(jié)、設(shè)計源、文檔以及硬件相關(guān)的代碼和自然語言文本,經(jīng)過數(shù)據(jù)采集、清洗和過濾后,共有241億個token。
英偉達(dá)采用了領(lǐng)域自適應(yīng)技術(shù),包括自定義標(biāo)記器、領(lǐng)域自適應(yīng)持續(xù)預(yù)訓(xùn)練、帶有領(lǐng)域特定指令的監(jiān)督微調(diào)等方法,以提升大語言模型在工程助理聊天機(jī)器人、EDA腳本生成和Bug摘要和分析等領(lǐng)域的性能。
結(jié)果顯示,這些領(lǐng)域自適應(yīng)技術(shù)不僅提高了性能,還減小了模型大小,但仍有改進(jìn)空間。英偉達(dá)的這一舉措標(biāo)志著大語言模型在半導(dǎo)體設(shè)計領(lǐng)域的應(yīng)用邁出了重要的一步,為專業(yè)化領(lǐng)域提供了有用的生成式AI模型。
針對大模型的幻覺問題,研究人員選擇了檢索增強(qiáng)生成(RAG)的方法。研究人員發(fā)現(xiàn),在RAG中使用與領(lǐng)域相適應(yīng)的語言模型可以顯著提高特定領(lǐng)域問題的答案質(zhì)量。
此外,使用適量的特定領(lǐng)域訓(xùn)練數(shù)據(jù)對現(xiàn)成的無監(jiān)督預(yù)訓(xùn)練稠密檢索模型進(jìn)行微調(diào),可顯著提高檢索準(zhǔn)確率。
用AI設(shè)計芯片,將是未來?
實(shí)際上,包括英偉達(dá)在內(nèi)的諸多科技企業(yè)或研發(fā)機(jī)構(gòu)很早就在嘗試?yán)肁I來設(shè)計芯片。今年6月,紐約大學(xué)Tandon工程學(xué)院的研究人員就通過GPT-4造出了一個芯片。研究人員利用GPT-4僅用19輪對話,就造出了130nm芯片,并通過了Skywater 130nm穿梭機(jī)的流片測試。
圖源:機(jī)核
2022年4月,英偉達(dá)首席科學(xué)家Bill Dall公開了內(nèi)部的重點(diǎn)研究與工作項目,提到其目標(biāo)是利用人工智能來改進(jìn)自己的產(chǎn)品,比如在其GPU產(chǎn)品設(shè)計工作中,大量采用人工智能輔助,來加速以及最佳化GPU芯片的設(shè)計,相關(guān)設(shè)計甚至涉及供電模擬設(shè)計、從電路到GPU規(guī)模的大型積體電路設(shè)計、架構(gòu)網(wǎng)絡(luò)以及儲存系統(tǒng)管理等。
同時,英偉達(dá)依托人工智能芯片設(shè)計工具,可以根據(jù)標(biāo)準(zhǔn)的處理單元布局來自動產(chǎn)生芯片的設(shè)計圖,也可以用來檢驗人類員工設(shè)計出來的芯片布局中有無錯誤。據(jù)Bill Dally當(dāng)時的說法,這套工具只需要在配備兩個GPU的平臺上,短短幾天的時間,就可以超過一組十人員工一年的工作份量。
今年3月,英偉達(dá)也推出了四款推理平臺。這些平臺針對各種快速興起的生成式AI應(yīng)用進(jìn)行優(yōu)化,能夠幫助開發(fā)人員快速構(gòu)建用于提供新服務(wù)和洞察的 AI 驅(qū)動的專業(yè)應(yīng)用。這些平臺可以將NVIDIA全棧推理軟件與最新的 NVIDIA Ada、Hopper 和 Grace Hopper 處理器相結(jié)合,針對AI視頻、圖像生成、大型語言模型部署、推薦系統(tǒng)推理等需求激增的工作負(fù)載進(jìn)行優(yōu)化。
除了英偉達(dá)之外,微軟、谷歌、ARM、Cadence和Synopsys等公司和機(jī)構(gòu)都在利用AI技術(shù)進(jìn)行芯片設(shè)計,以提高芯片設(shè)計的效率和精度。
例如,谷歌利用AI技術(shù)設(shè)計出了專門針對圖像和視頻處理的張量處理單元(TPU)芯片,該芯片在谷歌云平臺上的TensorFlow框架中使用,為機(jī)器學(xué)習(xí)任務(wù)提供了高性能的計算支持。
此外,微軟研究院也利用AI技術(shù)設(shè)計出了一種基于Transformer模型的神經(jīng)芯片,該芯片可以并行處理多個計算任務(wù),提高芯片的計算效率和能效。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
10月31日立即下載>> 【限時免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月28日立即報名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市