訂閱
糾錯
加入自媒體

谷歌疑似造假,Gemini擊敗GPT靠“作弊”?

就跟數(shù)碼圈(juan)發(fā)新機,每次都要對比iPhone一樣。每次有新大模型發(fā)布,GPT-4都要被拉出來鞭尸。

贏不贏的,圖個樂吧。

不管你關(guān)不關(guān)注AI動態(tài),這兩天鋪天蓋地的報道,你也能知道谷歌推出了全新的AI大模型——Gemini。并且,再一次“吊打了”宿敵OpenAI的“地表最強”GPT-4。

谷歌疑似造假,Gemini擊敗GPT靠“作弊”?

圖源:Google

(我為什么要說“再”?)

谷歌造假了?

這次Gemini的關(guān)注度,一點也不亞于OpenAI內(nèi)亂的時候。畢竟谷歌之前是打算早點發(fā)布Gemini的,就是打的“趁你病要你命”的主意。奈何團隊拉胯的進度,最后Gemini不得不延期。

提前也好,延期也罷。Gemini最后還是發(fā)布了,而且谷歌信心滿滿,儼然一副“GPT你好日子到頭了”的架勢。賬面數(shù)據(jù)和測試結(jié)果,也是一路默秒全。

而且谷歌還放出來一段6分鐘一鏡到底的視頻,坐等被夸“好牛X”“666”……

但是這時候有人跳出來說,谷歌你這演示視頻造假了吧?

有人質(zhì)疑說,這段所謂的一鏡到底,其實是經(jīng)過篩選、剪輯拼接起來的,根本不是實時錄制。

隨后,官方表示稱,視頻確實是有后期制作和剪輯的成分。根據(jù)官方的一份技術(shù)聲明,Gemini所有的這些交互都不是實時感知到的,而是通過提示詞問出來的。

這不能說跟演示視頻一毛一樣,根本是八竿子打不著吧。比如“石頭、剪刀、布”游戲,不是Gemini看懂了游戲規(guī)則,而是識別出了三張圖,并做出了推理。

谷歌疑似造假,Gemini擊敗GPT靠“作弊”?

圖源:Google

而對“鴨子簡筆畫”的每一個筆畫的識別能力,以及對顏色的看法,也不全是真的。谷歌DeepMind產(chǎn)品副總裁伊萊·柯林斯(Eli Collins)回應(yīng)說,這個能力目前還是研究級別的,至少目前還沒有出現(xiàn)在谷歌的實際產(chǎn)品中。

谷歌疑似造假,Gemini擊敗GPT靠“作弊”?

圖源:YouTube

原來讓人直呼“vocal”的感知能力,結(jié)果還是識別、提示加引導(dǎo)。這讓很多人表示,谷歌你這是在誤導(dǎo)和欺騙大眾!

眼看著輿論有反噬的苗頭,谷歌最后還是慫了,在油管的演示視頻底下,標注了免責聲明:為了演示的目的,已經(jīng)減少延遲,為了簡潔,Gemini 的輸出也縮短了。

對比數(shù)據(jù)上“做手腳”

如果單純就是視頻做了“藝術(shù)”加工,也就還好。畢竟現(xiàn)在圈子里這么干的,不在少數(shù)。但是,谷歌還在其他對比GPT-4的結(jié)果上,搞了點小貓膩。

有人就發(fā)現(xiàn),在谷歌曬出的MMLU 測試結(jié)果中,Gemini的結(jié)果下面有一行灰色小字,標注著“CoT@32”。

這是谷歌自己的“獨家秘籍”,明顯有利于Gemini,可想而知GPT-4的成績好不了哪里去。

還有人詬病圖示比例尺離譜,很小的差距,被做出了天差地別的視覺效果。

谷歌你這就不太厚道了吧。

而且圖上GPT-4最明顯的成績,用的測試方法和Gemini不一樣。

隨后,知名開源社區(qū)HuggingFace的技術(shù)主管Philipp Schmid用技術(shù)報告中披露的數(shù)據(jù)修復(fù)了結(jié)果對比圖,結(jié)果顯示:

讓Gemini Ultra 和 GPT-4 跑在同一標準下,那Gemini的得分就只有 83.7 ,甚至還不如 GPT-4 。

谷歌疑似造假,Gemini擊敗GPT靠“作弊”?

圖源:X(原推特)

此外,谷歌在發(fā)布會上宣稱,Gemini三個版本(Ultra、Pro、Nano),其中Ultra全面超越 GPT-4,Pro在大多數(shù)指標上超越GPT-3.5。

但隨后有人經(jīng)過測試發(fā)現(xiàn),一道8年級的故事題,GPT-3.5拿了滿分,Gemini Pro則是一塌糊涂。不過,該測試也就圖一樂,畢竟變量控制和細節(jié)并不完善,不像專業(yè)的測試數(shù)據(jù)那樣準確。

谷歌發(fā)布Gemini時還提到,后續(xù)Bard將接入微調(diào)版的Gemini Pro,這樣一來,跟接入GPT3.5和GPT4的ChatGPT做一番對比,就變得更容易了。有興趣的朋友可以去嘗試一下。

雖有質(zhì)疑,但股價上漲

對此外界輿論,谷歌DeepMind研究和深度學(xué)習負責人副總裁奧里奧爾·維尼亞爾斯(Oriol Vinyals)表示,“我們這樣做是為了激勵開發(fā)人員”。但很明顯,大部分人并不買賬。

甚至有谷歌的員工表示,對于公司這種夸大宣傳,早就習慣了。而且本身谷歌進度落后于OpenAI,所以有點著急也是理所應(yīng)當?shù)摹?/p>

當然,做人還是要體面一點。

圖源:網(wǎng)絡(luò)

不過,谷歌倒也不是一無所有。在谷歌發(fā)布Gemini之后,12月7日,谷歌母公司Alphabet(Nasdaq:GOOG)的股價漲5.31% ,收于136.93美元,迎來自今年8月29日以來表現(xiàn)最好的一天,總市值達到1.72萬億美元 。

要知道,當時在發(fā)布Bard時,谷歌的股價一天跌去了1000億美元。

雖然要求Gemini超越GPT-4有點苛刻,但誰讓谷歌把牛吹這么大呢,所以什么輿論結(jié)果都得受著。具體Gemini最后能進化到什么程度,還得看后續(xù)的進展。

那么,嘗試過Gemini和ChatGPT的你,覺得效果如何?Gemini有希望超越GPT4嗎?

聲明: 本網(wǎng)站所刊載信息,不代表OFweek觀點?帽菊靖寮,務(wù)經(jīng)書面授權(quán)。未經(jīng)授權(quán)禁止轉(zhuǎn)載、摘編、復(fù)制、翻譯及建立鏡像,違者將依法追究法律責任。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯
x
*文字標題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號