侵權(quán)投訴
訂閱
糾錯
加入自媒體

創(chuàng)新工場南京國際人工智能研究院馮霽:我們要解決當(dāng)前AI系統(tǒng)的安全性問題

計算金融+AI安全,研究院的使命和責(zé)任

馮霽總結(jié),研究院的兩個重點(diǎn),一個是以業(yè)務(wù)為中心,一個是以技術(shù)為核心。

其中,計算金融強(qiáng)調(diào)技術(shù)賦能落地,也就是我們常說的的人工智能+金融,通常情況下, 計算金融又可以分為三個維度:金融風(fēng)控、智能投顧以及智能投資。

在具體落地上,馮霽透露研究院正在圍繞交易行為的相關(guān)業(yè)務(wù)場景做一些嘗試。“交易行為是市場中買方和賣方一系列交易行為的結(jié)果,但金融市場的噪聲比較大,如何從交易數(shù)據(jù)和行為中挖掘相應(yīng)的模式并作出預(yù)測,相當(dāng)于AI+金融領(lǐng)域的圣杯問題。”

除此之外,研究院另一個重心便是AI安全,馮霽直言這是非?幔彩欠浅V匾氖虑榈氖虑。此處的AI安全并不是安防之類的安全保護(hù),特指的是當(dāng)前AI系統(tǒng)的安全和魯棒性。

馮霽認(rèn)為,當(dāng)前的AI解決方案已經(jīng)從低風(fēng)險應(yīng)用轉(zhuǎn)為高風(fēng)險應(yīng)用,比如十年前的垃圾郵件分類,逐漸深入到自動駕駛系統(tǒng)、安防領(lǐng)域的人臉識別,一旦AI系發(fā)生錯誤或者被人惡意攻擊,后果不堪設(shè)想。“以人臉識別為例,現(xiàn)在一個特制的眼鏡(鏡框上繪制了包含算法的花紋)就能騙過人臉識別系統(tǒng),讓其把甲認(rèn)成乙!

所以研究院的一大任務(wù)就是研究那些攻擊算法,設(shè)置相應(yīng)的防御機(jī)制應(yīng)對攻擊,同時提出統(tǒng)一的風(fēng)控或者評估機(jī)制,以第三方的角度來為評估AI系統(tǒng)的安全性。

另一方面, AI安全除了研究AI系統(tǒng)安全之外,還囊括數(shù)據(jù)隱私保護(hù)相關(guān)的技術(shù)。比如現(xiàn)在由楊強(qiáng)教授等人推動的“聯(lián)邦學(xué)習(xí)”,力圖在不共享數(shù)據(jù)以及合法合規(guī)的前提下,利用雙方的數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí),實(shí)現(xiàn)模型增長。

以手機(jī)上的用戶數(shù)據(jù)為例,此前可以一股腦將所有數(shù)據(jù)上傳到云端進(jìn)行數(shù)據(jù)訓(xùn)練。但歐盟數(shù)據(jù)隱私保護(hù)條例GDPR規(guī)定出來后,本地數(shù)據(jù)是禁止被上傳到云端共享的。那么借助聯(lián)邦學(xué)習(xí),手機(jī)廠商可以直接在手機(jī)本地將數(shù)據(jù)訓(xùn)練出一個小模型,然后將模型的參數(shù)上傳到云端進(jìn)行算法的優(yōu)化,不共享數(shù)據(jù),共享知識。

在采訪之前,馮霽代表創(chuàng)新工場,當(dāng)選為聯(lián)邦學(xué)習(xí)國際標(biāo)準(zhǔn)制定委員會的副主席,在微眾銀行的楊強(qiáng)教授帶領(lǐng)下,共同參與制定國際上第一個人工智能協(xié)同與合作的標(biāo)準(zhǔn)。

如果標(biāo)準(zhǔn)制定順利的話,聯(lián)邦學(xué)習(xí)對于互聯(lián)網(wǎng)公司以及金融機(jī)構(gòu)都是非常利好的消息,“金融機(jī)構(gòu)在做一些信用評級的時候,如果雙方數(shù)據(jù)能夠共享、共同訓(xùn)練一個大的模型,銀行的業(yè)務(wù)都會有所提升!

在馮霽的描述中,創(chuàng)新工場南京國際人工智能研究院的發(fā)展路徑和目標(biāo)非常明確,一方面是研究金融場景下的人工智能模型,另一方面則是針對魯棒性和安全性的人工智能研究,關(guān)注AI企業(yè)所提供的人工智能解決方案中安全和數(shù)據(jù)隱私的問題,并提供相應(yīng)的算法建議。

學(xué)術(shù)界的研究一定要“不那么有用”

馮霽在確定研究院戰(zhàn)略方向的同時,也十分清醒的認(rèn)識到企業(yè)和高校研究院的定位差異!巴I(yè)界相比,學(xué)術(shù)界的研究不應(yīng)該那么‘有用’。”這是馮霽給出的答案。

在他看來,學(xué)術(shù)界和工業(yè)界研究院關(guān)注的內(nèi)容應(yīng)該涇渭分明。以AI為例,當(dāng)前的工業(yè)界應(yīng)用都是在吃學(xué)術(shù)界早期技術(shù)研究的紅利。

就像幾十年前被提出的卷積神經(jīng)網(wǎng)絡(luò),當(dāng)后期的硬件條件跟上,才有了今天大規(guī)模的技術(shù)商業(yè)應(yīng)用市場。而以現(xiàn)在的時間點(diǎn)去看未來,如果學(xué)術(shù)界停止研發(fā)那些“沒用”的東西,十年后的我們又要何去何從?

所以,從科研角度看,學(xué)術(shù)界不應(yīng)該去做和工業(yè)界一樣的研究,比如那些可以帶來立竿見影經(jīng)濟(jì)效益的事情!皩W(xué)術(shù)界更應(yīng)該做一些有利于這個學(xué)科長久發(fā)展的研究,不要急功近利考慮太多變現(xiàn)的事情!惫I(yè)界的研究則恰恰相反,它們需要思考如何將學(xué)術(shù)的成果變成一個真正可商業(yè)化的工業(yè)級產(chǎn)品。

馮霽也坦言,如今兩者的界線越來越模糊,尤其是在大量的學(xué)術(shù)界大佬被企業(yè)挖走,造成學(xué)術(shù)研究斷崖的當(dāng)下。

就像馮霽之所以選擇創(chuàng)新工場南京國家人工智能研究院,骨子里有著創(chuàng)業(yè)精神的他,熱愛和一群優(yōu)秀的人做最酷的事情,讓學(xué)術(shù)界的成果落葉歸根,找到合適的商業(yè)化路徑。

<上一頁  1  2  
聲明: 本文系OFweek根據(jù)授權(quán)轉(zhuǎn)載自其它媒體或授權(quán)刊載,目的在于信息傳遞,并不代表本站贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé),如有新聞稿件和圖片作品的內(nèi)容、版權(quán)以及其它問題的,請聯(lián)系我們。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評論

暫無評論

安防 獵頭職位 更多
文章糾錯
x
*文字標(biāo)題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號