數(shù)據(jù)爆炸與復(fù)雜模型 讓AI計算迎來更多創(chuàng)新機會
隨著人工智能首次寫入政府工作報告并且國務(wù)院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》,人工智能產(chǎn)業(yè)被視作新的重要經(jīng)濟增長點,人工智能技術(shù)應(yīng)用成為改善民生的新途徑?梢哉f,以人工智能技術(shù)為代表的第四次工業(yè)革命撲面而來,以前所未有的方式給人們的生活帶來巨大改變。
人工智能將重構(gòu)所有行業(yè)
綜觀人工智能近幾年的發(fā)展,可以觀察到一個顯著趨勢就是人工智能和各行各業(yè)的聯(lián)系越來越密切。從長期來看,人工智能擁有令人難以置信的力量,將重構(gòu)幾乎所有行業(yè)。
在搜索引擎業(yè)務(wù)中,無論是文本、圖片搜索還是語音搜索,我們會發(fā)現(xiàn)機器似乎變得越來越聰明;在醫(yī)療保健行業(yè),人工智能給醫(yī)學(xué)影像帶來了很大的改變;在金融行業(yè),人工智能在投資組合設(shè)計、金融產(chǎn)品營銷以及金融安全保障領(lǐng)域都有應(yīng)用;在汽車制造行業(yè),谷歌、Uber、百度等科技公司以及戴姆勒、福特等眾多的汽車廠商正在開發(fā)智能駕駛;在天氣預(yù)報領(lǐng)域,人工智能的技術(shù)目前在雷達外推短時臨近預(yù)報上已得到應(yīng)用;在石油勘探領(lǐng)域,神經(jīng)網(wǎng)絡(luò)和模糊邏輯相結(jié)合被成功應(yīng)用到了裂隙性油藏的分析,以及選擇最佳的測井數(shù)據(jù)對油藏特征進行研究中。
AI發(fā)展:大數(shù)據(jù)+大模型+大計算
人工智能在今天得以快速的發(fā)展,跟數(shù)據(jù)、算法、計算的發(fā)展息息相關(guān)。
目前,全球數(shù)據(jù)量正以平均年增長率50%的速度增長,預(yù)計到2020年全球數(shù)據(jù)總量將超過40ZB,而2020年中國的數(shù)據(jù)總量將占全球數(shù)據(jù)總量的20%,成為世界第一數(shù)據(jù)資源大國和全球數(shù)據(jù)中心。
同時,人工智能深度神經(jīng)網(wǎng)絡(luò)也在快速的發(fā)展,更深更大的算法模型、更復(fù)雜的架構(gòu)正在成為趨勢。卷積網(wǎng)絡(luò)曾是最大最深的神經(jīng)網(wǎng)絡(luò)架構(gòu)之一,但如今,它被抽象成了大多數(shù)新架構(gòu)中的一小部分。
最后,數(shù)據(jù)的增加、模型的復(fù)雜,將為計算帶來更大的挑戰(zhàn)空間,當如此龐大的數(shù)據(jù)用于人工智能的訓(xùn)練學(xué)習(xí)時,數(shù)據(jù)量將超出內(nèi)存和處理器的承載上限,如果計算力不能相應(yīng)增長,整個學(xué)習(xí)過程將變得無比漫長,甚至完全無法實現(xiàn)最基本的人工智能。
AI計算迎來更多創(chuàng)新機會
從人工智能的三要素來看,如何更好地將爆炸式增長的海量數(shù)據(jù)用于模型訓(xùn)練,已成為人工智能未來發(fā)展的關(guān)鍵環(huán)節(jié)。數(shù)據(jù)與模型的快速發(fā)展,在為計算帶來挑戰(zhàn)的同時,也提供了更多的創(chuàng)新機會。
那么在人工智能計算創(chuàng)新方面,則應(yīng)從強調(diào)構(gòu)建AI系統(tǒng)能力與價值著眼,在硬件創(chuàng)新、軟件實現(xiàn)、框架優(yōu)化和應(yīng)用加速4個維度賦能AI,這四個維度形成了一個完整的“4S”組合:硬件創(chuàng)新是“Server”,加上軟件實現(xiàn)構(gòu)成“System”,再加上框架優(yōu)化就是“Solution”,最后加上應(yīng)用加速即是“Services”,這也是浪潮今年提出的AI端到端解決方案。
復(fù)雜的人工智能應(yīng)用環(huán)境是進行人工智能硬件創(chuàng)新開發(fā)時要考慮的重要因素。人工智能在模型訓(xùn)練時對計算需求大,更依賴GPU,而當產(chǎn)品服務(wù)上線后,計算需求減少,吞吐量需求增大,要考慮低延遲的產(chǎn)品。今年,浪潮與百度在AI計算上聯(lián)合開發(fā)的SR-AI整機柜服務(wù)器,就是根據(jù)百度的AI模型訓(xùn)練需求開發(fā)的。我們將CPU和GPU分開成兩個BOX,CPU主要負責管理和控制,GPU主要負責AI運算,通過專用的線纜將2個部分高速地連起來,隨著模型復(fù)雜度的增加和規(guī)模的增加,計算量會增加,如果一個GPU BOX不夠,就可以擴展多個GPU BOX。目前,我們開發(fā)的這款SR-AI整機柜服務(wù)器可以實現(xiàn)單節(jié)點16卡、單物理集群64卡的超高密度擴展能力,已經(jīng)應(yīng)用在百度無人車之中,具備千億樣本、萬億參數(shù)級別的AI計算能力。同時,在前端推理方面,浪潮、科大訊飛和Altera公司共同發(fā)起了一項基于FPGA在智能語音識別領(lǐng)域的合作,三方完成了基于OpenCL的FPGA線上深度學(xué)習(xí)語音識別加速方案。
在AI系統(tǒng)管理方面,深度學(xué)習(xí)的模型訓(xùn)練往往流程較長、開發(fā)環(huán)境較復(fù)雜,涉及數(shù)據(jù)準備和處理、特征工程、建模、調(diào)參等多個步驟及多個框架和模型,每個框架依賴環(huán)境不同且有可能交叉使用。更大的“痛點”在于,深度學(xué)習(xí)模型在訓(xùn)練時往往耗時較長,短則數(shù)小時,長則數(shù)天,以往在訓(xùn)練完成后才意識到模型存在問題,大大耗費了用戶的精力和時間。浪潮根據(jù)此需求設(shè)計開發(fā)的AIStation管理軟件可以提供從數(shù)據(jù)準備到分析訓(xùn)練結(jié)果的完整深度學(xué)習(xí)業(yè)務(wù)流程,支持Caffe、TensorFlow、CNTK等多種計算框架和GoogleNet、VGG、ResNet等多種模型,有效地提高計算資源的利用率和生產(chǎn)率,為深度學(xué)習(xí)用戶提供高效易用的平臺。
深度學(xué)習(xí)框架可以幫助用戶更好更快地開發(fā)深度學(xué)習(xí)模型,浪潮主導(dǎo)開發(fā)的全球首個集群并行版的Caffe深度學(xué)習(xí)計算框架Caffe-MPI,目前已在Github上開源公布所有代碼。在基于國際通行的Imagenet數(shù)據(jù)集進行深度學(xué)習(xí)模型訓(xùn)練時,Caffe-MPI表現(xiàn)出良好的并行擴展,其性能是Google最新深度學(xué)習(xí)框架TensorFlow的近兩倍。
AI應(yīng)用優(yōu)化是浪潮極為重視的一項核心能力。浪潮與奇虎360合作開展了針對圖片搜索技術(shù)的GPU架構(gòu)移植,基于K-means無監(jiān)督聚類算法串行版本,完成GPUMPI集群版本的實現(xiàn),節(jié)點內(nèi)使用CPU+GPU協(xié)同計算,大幅降低了計算時間。
人工智能是當前人類所面對的最為重要的技術(shù)社會變革,可以全面提升一個國家的實力,全球許多國家都對AI充滿了憧憬與渴望。中國作為快速成長的數(shù)據(jù)資源大國,已連續(xù)多年成為全球服務(wù)器增長最快的市場,在發(fā)展人工智能上具備得天獨厚的數(shù)據(jù)優(yōu)勢與計算優(yōu)勢,這將讓中國有能力成為人工智能的技術(shù)強國、應(yīng)用大國。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月28日立即報名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
-
精彩回顧立即查看>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
推薦專題
-
10 夾縫中的文遠知行
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市