在日常生活中,我們經(jīng)常會看到一些十分漂亮、構(gòu)思精妙的照片,但某張照片背后的攝影師是誰?我們有時卻并不清楚。

如今,人工智能(AI)可以幫助我們找到圖片背后的攝影師。

在一項新的國際跨學(xué)科研究中,研究人員通過使用人工智能算法分析近 60000 張二戰(zhàn)時期的歷史照片發(fā)現(xiàn),人工智能可以根據(jù)照片內(nèi)容來識別攝影師的身份。相關(guān)研究成果以論文的形式發(fā)表在科學(xué)雜志 IEEE Access上。

研究人員展示了使用現(xiàn)代神經(jīng)網(wǎng)絡(luò)分析圖像的優(yōu)勢,以使機(jī)器可以自動檢測各種場景中的人和物體,甚至可以根據(jù)圖像中的特征區(qū)分?jǐn)z影師,這些操作比任何人工檢查過程都要快得多。獲得的結(jié)果將有助于歷史學(xué)家、其他研究人員和專業(yè)人員在工作中使用歷史照片檔案來分析和比較特定攝影師的作品。

通過這項工作,研究人員證明了人工智能可以在某些方面幫助學(xué)者“追溯”歷史照片檔案的潛力。

令人驚訝

研究人員選擇了 23 名芬蘭戰(zhàn)地攝影師作為實驗對象。他們中的 20 人是芬蘭戰(zhàn)時照片檔案中圖像總數(shù)最高的攝影師,另外 3 人則是因為有專家認(rèn)為他們的照片對這項攝影新聞研究很有趣。

他們提出并評估了機(jī)器學(xué)習(xí)可以幫助分析歷史圖像的幾個應(yīng)用領(lǐng)域,即分析場景中存在的對象、照片取景評估、攝影師分類以及評估它們的視覺相似性。

他們使用人工智能技術(shù)對這 23 位著名芬蘭攝影師在第二次世界大戰(zhàn)期間拍攝的照片進(jìn)行了識別,所用照片來自公開可用的芬蘭戰(zhàn)時照片檔案庫,其中包含約 160000 張 1939-1945 年間從芬蘭冬季戰(zhàn)爭、延續(xù)戰(zhàn)爭(第二次世界大戰(zhàn)期間芬蘭與蘇聯(lián)之間的兩場戰(zhàn)爭中的第二場戰(zhàn)爭)和拉普蘭戰(zhàn)爭中拍攝的照片。

由于芬蘭戰(zhàn)時照片檔案中的數(shù)千張照片仍然沒有攝影師的名字,所以這項研究中選用的照片總數(shù)為 59000 多張。

這種自動分析可以作為一種工具,以提供基于內(nèi)容的公共照片檔案的文本描述,比如丹麥抵抗博物館的照片檔案。今年 9 月生效歐盟可訪問性指令(DIRECTIVE(EU)2016/2102),要求將圖像內(nèi)容的文字描述添加到網(wǎng)絡(luò)上的所有公共圖像中。

對此,論文作者之一 Alexandros Iosifidis 表示:“這讓我們非常驚訝,人工智能可以根據(jù)照片中的特征(如內(nèi)容和框架)識別攝影師�！�

準(zhǔn)確率最高可達(dá) 69．7%

在這項研究中,研究人員應(yīng)用了最先進(jìn)的目標(biāo)檢測模型和神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu),以獲得來自杰出二戰(zhàn)攝影師的統(tǒng)計數(shù)據(jù)和特征。

由于每個攝影師都有一定數(shù)量的重復(fù)圖像,這里研究人員根據(jù)拍攝時間將照片分成訓(xùn)練集和測試集,以確保描述同一事件的照片不會用于訓(xùn)練和測試。

研究中分析的照片顯示,一些攝影師具有非常獨特且容易識別的特征,而另一些則很難被人工智能識別。這一人工智能模型的分類準(zhǔn)確率區(qū)間為 20．1-69．7%,平均為 41．1%。

通過將識別結(jié)果與先前對檢測到的物體的分析進(jìn)行比較發(fā)現(xiàn),一些攝影師因為有著特定的拍攝物體和喜好很容易被識別。因此,研究人員檢查了每個攝影師照片中的典型物體類別,并分析了他們捕捉和框定人的方式差異。

Roivainen 拍攝的照片中擁有最多的狗、馬和汽車,預(yù)測準(zhǔn)確率為 69．7%;Hollming 拍攝了大量滑雪照片,所有照片中只有幾把椅子出現(xiàn),即戶外照片多,預(yù)測準(zhǔn)確率為 51．4%;Manninen 拍攝的人物照片中的平均人數(shù)最高,椅子(即室內(nèi)照片)出現(xiàn)率最高,預(yù)測準(zhǔn)確率為 35．5%;SJ Blom 喜歡在城市環(huán)境中拍攝照片,預(yù)測準(zhǔn)確率為 50．4%。

研究結(jié)果證明,除了確定照片的作者身份之外,這些特征代表了模型對這些攝影師的整體視覺相似性和照片風(fēng)格相似性的認(rèn)知。此外,由于卷積神經(jīng)網(wǎng)絡(luò)可以在一定程度上從照片中識別攝影師,某些照片可以被認(rèn)為是特定攝影師的典型。其中最著名的攝影師是 Heikki Roivainen,他是芬蘭植物學(xué)教授,曾在延續(xù)戰(zhàn)爭期間擔(dān)任官方戰(zhàn)地攝影師。

通往更多應(yīng)用的大門

在這項工作中,研究人員只使用了可公開獲得的預(yù)處理對象檢測模型和基本照片信息,但他們認(rèn)為這一模型可用于大多數(shù)照片檔案,且提供了所有代碼、模型和數(shù)據(jù)注釋,以及如何使用它們的詳細(xì)描述。

例如,可以通過考慮攝影師的意圖和他們的照片質(zhì)量來進(jìn)一步增強(qiáng)攝影師分析。此外,可以通過考慮信息融合方法來增強(qiáng)對象檢測性能,以及改善較小尺寸對象的檢測。除了對象級分析,場景識別將有助于進(jìn)一步描述攝影師的特征。

在未來,研究人員將專注于需要更專業(yè)方法的問題,比如識別僅出現(xiàn)在芬蘭歷史照片或二戰(zhàn)期間的對象類別。他們的目標(biāo)是利用原始的文本照片描述來產(chǎn)生更完整的對象標(biāo)簽以及主題和事件識別。

這將有助于人們解決分析戰(zhàn)時照片時面臨的最大挑戰(zhàn)之一,即區(qū)分拍攝對象的不同狀態(tài)——照片中的人是活著的、受傷的還是死亡的。

這些更精細(xì)的結(jié)果最終可以幫助人們更詳細(xì)地描繪出傳統(tǒng)知識攝影師的目標(biāo)、素質(zhì)和性格。這項研究的目標(biāo)是在檔案中公布所有的結(jié)果,以幫助對檔案進(jìn)行不同類型的社會研究。

對于此次研究結(jié)果,作者之一、從事新聞攝影研究已有 25 年以上的 Anssi M?nnist? 認(rèn)為,“對照片蘊含的內(nèi)容進(jìn)行大數(shù)據(jù)分析是我的一個長期夢想,我對這個項目的結(jié)果非常著迷。人工智能可以識別諸如照片中的框架和內(nèi)容的各個方面,這將在人文科學(xué)和社會科學(xué)領(lǐng)域中有著廣泛的應(yīng)用�！�