Google攜手MIT打造實時AI“修圖師”
近日,MIT計算機(jī)科學(xué)與人工智能實驗室和Google研究團(tuán)隊提出了一套系統(tǒng),在不影響手機(jī)耗電量等性能的情況下,可以實時對照片細(xì)節(jié)進(jìn)行修復(fù),讓拍照者立即得到HDR圖像。
高動態(tài)范圍(HDR),就是利用每個曝光時間相對應(yīng)最佳細(xì)節(jié)的LDR圖像來合成最終HDR圖像,它能夠更好地反映出真實環(huán)境中的視覺效果。
換言之,就是在拍照時,如果考慮高光區(qū)域的曝光,暗部細(xì)節(jié)就會丟失;而照顧暗部細(xì)節(jié),高光區(qū)域就會過曝。為了解決這一問題,可以利用相機(jī)連拍至少三種曝光度以上的照片,最后再用軟件合成一張保留所有細(xì)節(jié)的照片,此技術(shù)稱為HDR技術(shù)。
據(jù)悉,早在16年的Google Pixel手機(jī)上,Google就開發(fā)了相關(guān)算法和軟件,并顯著改善了手機(jī)拍攝出的照片質(zhì)量。其中,復(fù)雜高動態(tài)范圍(HDR)算法是其技術(shù)核心,它可以捕獲數(shù)字圖像中顏色丟失的微小變化,但是受限于智能手機(jī)硬件的處理能力,而未能發(fā)揮很好的作用。
而早在2015年,MIT的研究生Michael Gharbi就開發(fā)了一個“轉(zhuǎn)換器”,它可以很好地解決Google面對的問題,大大降低圖像處理所需的帶寬和功耗。
該“轉(zhuǎn)換器”的具體實現(xiàn)就是,讓手機(jī)向網(wǎng)絡(luò)服務(wù)器發(fā)送圖像的低分辨率版本,隨后服務(wù)器發(fā)送回一個針對性的轉(zhuǎn)換算法,將手機(jī)上低分辨率版本的圖像修改為高分辨率的圖像。“轉(zhuǎn)換器”使得智能手機(jī)能在短時間內(nèi)進(jìn)行復(fù)雜的圖像處理,且不耗費大量的電量。
據(jù)了解,最新的這套系統(tǒng)是Google在MIT的這款“轉(zhuǎn)換器”之上,結(jié)合自己已有的系統(tǒng)開發(fā)出來的。
對此,Gharbi說:“Google聽說了我做的工作,于是他們自己做了后續(xù)的工作,合并了兩種方法。而現(xiàn)在我們要做的就是要讓算法自己學(xué)習(xí)和選擇,即融入AI,而無需人為向云端服務(wù)器發(fā)送圖像。目前來看,第一個目標(biāo)就是加速和優(yōu)化程序,使其能在手機(jī)上運行!
為了實現(xiàn)快速處理,團(tuán)隊開始從圖像的低分辨率版本來進(jìn)行處理,但因為高分辨率圖像中的各個像素的顏色值變化微小,而機(jī)器學(xué)習(xí)系統(tǒng)必須從自身的“粗糙輸出”辨識出圖像各像素點的細(xì)微顏色變化特征,以判斷出圖像處理算法的類型,因此最大的難點依然是高分辨率采樣的簡單實現(xiàn)。
為此,該團(tuán)隊對機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行大量的訓(xùn)練,在其輸出設(shè)置上,團(tuán)隊沒有讓系統(tǒng)輸出完整的圖像,而是輸出表示圖像中像素點顏色修改程度的公式。在訓(xùn)練中,根據(jù)輸出公式應(yīng)用到原始圖像后的效果與潤飾后版本的近似程度,系統(tǒng)對機(jī)器學(xué)習(xí)性能進(jìn)行判斷,以此對其自身進(jìn)行優(yōu)化。
目前研究團(tuán)隊已對機(jī)器學(xué)習(xí)系統(tǒng)進(jìn)行了5000張圖像數(shù)據(jù)集的訓(xùn)練,其中每張圖像都具有五個不同的潤飾變體。
現(xiàn)在,在處理高分辨率圖像上,融入AI的HDR算法比原始算法快了100倍,這也就意味著在很少的運存和電池電量的情況下,手機(jī)可以實時顯示HDR算法修過的圖像。
Google Research的Jon Barron表示,使用機(jī)器學(xué)習(xí)進(jìn)行計算機(jī)攝影的改進(jìn)是一項令人興奮的想法,但一直受限于手機(jī)的處理器能力和電源容量,F(xiàn)在我們找到了避開這些問題的方法,并將會使用戶有很棒的實時攝影體驗。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
10月31日立即下載>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月28日立即報名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市