曠視即將開源Brain++的深度學(xué)習(xí)框架
近日,曠視科技透漏其自主研發(fā)并全員使用的AI 生產(chǎn)力套件Brain++的核心深度學(xué)習(xí)框架--MegEngine,即將于3月25日進(jìn)行開源,發(fā)布會將于當(dāng)日14:00在線舉辦。
2017年,AlphaGo與柯潔的圍棋大戰(zhàn)讓大眾嘆為觀止,而支撐AlphaGo運轉(zhuǎn)的底層技術(shù)框架就是谷歌的TensorFlow。
知名度或許沒有谷歌那么廣為人知,但其實曠視的國產(chǎn)深度學(xué)習(xí)框架MegEngine遠(yuǎn)早于谷歌TensorFlow的時代,曠視早在2014年就開始研發(fā)其深度學(xué)習(xí)框架MegEngine,過去5年里,這套深度學(xué)習(xí)框架被曠視全員使用,支撐著整個曠視的科研及產(chǎn)品化。
同時在框架的基礎(chǔ)之上,曠視研究院還提出了“三位一體”概念,將數(shù)據(jù)和算力平臺融合,構(gòu)建了集“算法、數(shù)據(jù)和算力”于一體的 AI 生產(chǎn)力套件 Brain++,自動化、規(guī);、集約化生產(chǎn)算法,在Brain++的驅(qū)動下成為了現(xiàn)實。
技術(shù)層面曠視的Brain++完全可以和谷歌的TensorFlow、臉譜的PyTorch相提并論。
Brain++
為了能夠快速的進(jìn)行算法相關(guān)實驗,在實際的工業(yè)場景中落地,就需要一個具有高性能,可復(fù)用和能靈活迭代的AI算法平臺。
而打造一個滿足當(dāng)前需求的AI算法平臺,需要從計算性能,平臺易用性,滿足真實業(yè)務(wù)場景需求等不同的方面進(jìn)行考量。
人工智能發(fā)展初期階段,訓(xùn)練一個 AI 模型,至少需要一兩個月,開發(fā)者甚至要通過手敲 C++ 來完成計算過程,而深度學(xué)習(xí)社區(qū)基本上被 TensorFlow 和 PyTorch 兩大框架壟斷。
算法生產(chǎn)就是對輸入數(shù)據(jù)進(jìn)行分析和提煉,并輸出能預(yù)測問題答案模型的過程,如何擺脫繁瑣低效的算法開發(fā)流程,獲得批量生產(chǎn)算法的能力一直是曠視所思考的問題。
曠視聯(lián)合創(chuàng)始人唐文斌這樣介紹Brain++:“為了解決這個問題, 2014年我們開始研發(fā)Brain++,它是一套端到端的AI算法平臺,目標(biāo)是讓研發(fā)人員獲得從數(shù)據(jù)到算法產(chǎn)業(yè)化的綜合技術(shù)能力,不用重復(fù)造輪子也可以推進(jìn)AI快速落地。我們的Brain++還引入了AutoML技術(shù),可以讓算法來訓(xùn)練算法,讓AI來創(chuàng)造AI!
MegEngine
曠視 Brain++的架構(gòu)分為三部分,其中即將開源的深度學(xué)習(xí)算法開發(fā)框架 MegEngine 是核心模塊,其次是提供算力調(diào)度支持的深度學(xué)習(xí)云計算平臺 MegCompute,以及用于提供數(shù)據(jù)服務(wù)和管理的數(shù)據(jù)管理平臺 MegData。
MegEngine可實現(xiàn)訓(xùn)練、部署一體化,能夠支撐大規(guī)模視覺方向的算法研發(fā),具體又分為四個層,包括計算引擎、運行時管理、編譯和優(yōu)化以及編程和表示。
還引入了曠視獨家的AutoML技術(shù),只需訓(xùn)練一次就能得到整個模型空間的刻畫,可以顯著降低人力成本并大幅提高開發(fā)效率。
MegEngine基于 C++開發(fā),使用了目前流行的計算圖方式,和其他框架不同,其使用的是異構(gòu)架構(gòu),方便使用框架進(jìn)行分布式計算。
此外,MegEngine 內(nèi)部的計算以算子的形式進(jìn)行,它支持多種算子節(jié)點和變量算子,包括常用的卷積、全連接、ReLU 和用戶可定制的算子,甚至可以計算二階梯度,從而進(jìn)行更多底層和靈活的運算。
相比于開源的大部分深度學(xué)習(xí)框架,MegEngine 具有下列優(yōu)勢:
運算速度快:MegEngine 動態(tài)、靜態(tài)結(jié)合的內(nèi)存優(yōu)化機制,因此速度比 TensorFlow 更快;
內(nèi)存占用少:根據(jù)內(nèi)存使用狀況,MegEngine 充分優(yōu)化內(nèi)存,特別是亞線性內(nèi)存優(yōu)化,可以支持復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu),自動利用部分冗余計算縮減內(nèi)存占用,可達(dá)兩個數(shù)量級,從而支持更大規(guī)模的模型訓(xùn)練;
支持多種硬件平臺和異構(gòu)計算:MegEngine 支持通用 CPU、GPU、FPGA 以及其他移動設(shè)備端硬件,可多卡多機進(jìn)行訓(xùn)練;
訓(xùn)練部署一體化:整個框架既可用于訓(xùn)練又同時支持推理,實現(xiàn)模型一次訓(xùn)練,多設(shè)備部署,避免復(fù)雜的轉(zhuǎn)換過程造成的性能下降和精度損失。
曠視在 2017 年拿下 3 項 COCO 冠軍,2018年拿下 4 項 COCO 冠軍,以及19年發(fā)布的全新的通用物體檢測數(shù)據(jù)集 Objects365。這些成績之下,Brain++貢獻(xiàn)了不小的功勞。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
10月31日立即下載>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月28日立即報名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市