老師提個問題，小朋友們一起喊出答案，這是學(xué)校課堂的景象。1月27日開始，這個場景也會在線上課堂呈現(xiàn)了。

在作業(yè)幫小組直播間上課的同學(xué)，從這一天開始，可以聽到同組同學(xué)的發(fā)言。而老師也能聽到小朋友們的“發(fā)言實況”。

它模擬的，正是線下課堂的互動氛圍。

作業(yè)幫小學(xué)產(chǎn)品負(fù)責(zé)人曹越說，希望能讓小朋友們有線下上課的感受：有小伙伴一起學(xué)習(xí)，有老師關(guān)注著你。

模擬這樣的氛圍，不是件容易的事。僅就“聽到彼此”這個集體發(fā)言功能的升級版，大家就努力了幾個月。程序員們還加班加點，進(jìn)行了技術(shù)攻堅。

而這只是作業(yè)幫借助AI技術(shù)，增強(qiáng)課堂趣味性的一個最新功能。

技術(shù)服務(wù)于教育需求。僅小學(xué)課堂，在2020年推出小組直播間后，就怎么增強(qiáng)小組體驗，怎么更靠近真實課堂等方面，不同的AI功能被開發(fā)上線。

對于很多地區(qū)的小學(xué)生和他們的家長，AI可能還是個比較遙遠(yuǎn)的名詞，不過小朋友們課堂上喜歡的“比心”、“彈幕”，以及他們現(xiàn)在能聽到小伙伴的聲音，依托的都是AI功能。

“有趣，有方法�！辈茉秸f，這是小學(xué)產(chǎn)品理念。讓在線課堂有趣，培養(yǎng)孩子們的學(xué)習(xí)習(xí)慣、學(xué)習(xí)方法。

在小學(xué)產(chǎn)品經(jīng)理聶靖騏看來，對于孩子們，尤其對于小學(xué)低年級的孩子，課堂有趣很重要，“他覺得有意思才可能去理解它”。

老師，我還舉著手呢

“我們想，能不能在大班的模式下，盡可能給用戶更好的體驗�！�1月25日，作業(yè)幫小學(xué)產(chǎn)品負(fù)責(zé)人曹越說，隨著早先大班直播課的發(fā)展，一個老師可能面對太多學(xué)生。學(xué)生可能會感覺老師關(guān)注不到自己，從而不好好聽課，尤其是小朋友。

為增強(qiáng)學(xué)生更偏個人的體驗，以及學(xué)習(xí)了現(xiàn)實課堂的分組教學(xué)，曹越他們打造了大班課小組直播間模式。

2020年1月，作業(yè)幫小學(xué)課程直播模式升級。登錄后，小朋友們會發(fā)現(xiàn)自己有了小組。每6個學(xué)生一組，每6組形成一個班。

與小組直播間一起上線的，還有雙向視頻。以前直播只有孩子們能看到老師，這次升級后，老師也能看到孩子們了。

從老師一端，可以隨時翻動屏幕，看到不同小朋友的狀態(tài)。

跟隨觀察新功能、新產(chǎn)品的使用，是產(chǎn)品經(jīng)理們的日常。曹越說，觀察課堂，會發(fā)現(xiàn)老師和孩子們的互動是很多的。尤其雙向視頻打開后，老師可能提醒孩子坐好，或者告訴小朋友大家很棒，給自己點個贊。而曹越他們也很快注意到了一個問題。

“孩子點贊之后，老師沒說＇把手放下去＇，孩子可能都不會把手放下去�！辈茉秸f，孩子做完一個動作，他很難知道老師有沒有看到。也就是，缺乏反饋。

但一個老師可能同時面對成千上萬個學(xué)生。這樣的場景，AI是不是可以幫一下老師？

小組直播間上線后，小組、小班的感覺增強(qiáng)了，怎樣增強(qiáng)互動性，怎樣更好地激發(fā)學(xué)習(xí)興趣？

“我們想在直播間里，再做一些更好玩兒、更有趣的東西�！甭櫨蛤U說。

如果感到幸福，你就比個心

“我們希望那些常見的手勢，可以被（機(jī)器）識別出來，系統(tǒng)可以給一些反饋�！辈茉浇榻B，手勢識別這個功能，初衷是及時給孩子們反饋，增強(qiáng)課堂互動性。

“當(dāng)時也具備了這樣的AI能力，”聶靖騏說，小組直播間上線后，大家也希望能利用好AI，做一些有意思的事。

幾個月后，大約2020年四五月份的時候，產(chǎn)品和技術(shù)部門討論，確定了要做手勢識別。

首先去識別孩子們最常用的一系列手勢，比如比心，點贊，ok等。

問題隨之而來：孩子們來自全國各地，他們打手勢的方法可能很不一樣。例如比心，有這樣比的，有那樣比的；有單手的，還有雙手的。

“最早定義手勢比較難。怎么樣去定義一些更通用、更簡潔的手勢。比如說比心這個事，每個人都不一樣，但是技術(shù)不可能包容（所有）�！弊鳂I(yè)幫智能技術(shù)實驗室負(fù)責(zé)人王巖介紹。從技術(shù)上，最終的目的，是要保證大家的理解是一致的。

手勢識別，簡單說，就是讓機(jī)器“看”到屏幕前一個小朋友的一個動作，它要認(rèn)識，要給出回應(yīng)。

要讓機(jī)器去認(rèn)識手勢，先要告訴它某個手勢是什么意思。

先要收集手勢。主講老師向小朋友們發(fā)起了手勢征集，征集來幾千個小朋友比手勢的圖片。

王巖介紹，當(dāng)時，工程師們還給自己寫了個小程序，團(tuán)隊的工程師假裝是小朋友在上課，去比劃手勢。

收集同一手勢的不同圖片。去掉不多見的手勢，留下常見的，做成模型，然后訓(xùn)練機(jī)器去識別。

幾個月后，2020年暑假課程，第一版手勢識別上線了。

這個功能很快就俘獲了小朋友們的心。

在暑期課后的問卷調(diào)查中，9000多名參與的學(xué)生，約94％的孩子表示非常喜歡。

他們最喜歡和最常用的，是比心，點贊和Ok。積極而向上。

同學(xué)你去哪兒了，回來上課

依然是從2020年暑假課程開始，細(xì)心的小朋友會注意到，眼前的屏幕變得非�？幔核�不僅“認(rèn)識”自己做的動作，還能“注意”到自己有沒有好好聽課，乃至能“看”到自己離屏幕有多遠(yuǎn)。

如果沒好好聽課，就可能會收到輔導(dǎo)老師的信息提醒，或者媽媽會接到老師電話。

好有意思。

“家長負(fù)擔(dān)很重，還要陪著孩子上課。而如果是線下，我交給老師，老師幫我看著�！辈茉秸f，利用AI技術(shù)，賦能在線課堂，可以給老師們提供很多利器，甚至輔導(dǎo)老師能幫家長看著孩子。

這些利器中，最顯著的一個是孩子們的專注力檢測。

也就是，利用AI去判斷孩子們有沒有認(rèn)真上課。

“就是AI會幫我們輔導(dǎo)老師篩選出來：要關(guān)注這10個孩子，他們現(xiàn)在的專注力已經(jīng)很低了。”曹越舉例，這時候，輔導(dǎo)老師就會去重點看一下這10個孩子。

這個功能，技術(shù)上其實很難。

“比如他有可能發(fā)呆，但是畫面跟沉思沒有什么太大區(qū)別�！蓖鯉r介紹，專注力有很多維度，怎么去定義它，本身就很難。

“這個東西很主觀，什么樣是專注？”曹越說，比如你可以說不正視屏幕是不專注，但這個孩子他可能低頭記筆記。他說，就怎么定義專注力，他們做了非常多的“細(xì)維度拆解”。

聶靖騏介紹，剛開始時，很多情形下機(jī)器可能判斷不準(zhǔn)。比如孩子上課的環(huán)境，燈光比較暗，機(jī)器“看”不到，它可能認(rèn)為你離席了。

離席檢測是與專注力一體的一個功能。目的都是關(guān)注孩子的上課狀態(tài)。

“線下，有老師的參與。但線上，（如果）家里沒有其它人，小朋友自覺性可能會比較差，離席檢測相當(dāng)于監(jiān)督他的手段。同時也讓小朋友覺得更有意思，更自覺。”作業(yè)幫視覺實驗室程序員楊森介紹。

功能很酷，但是不是準(zhǔn)確更重要。系統(tǒng)多一次錯誤，老師就會多浪費一次時間，孩子也會被打擾到一次。

王巖說，開始的時候，離席檢測準(zhǔn)確率不夠高，他們就去重點優(yōu)化。大家把幾個問題嚴(yán)重的異常case梳理出來，針對性的分析解讀，把準(zhǔn)確率提高到了90％。

除了判斷孩子是否專注，機(jī)器還能夠判斷孩子是否距離屏幕太近。

如果發(fā)現(xiàn)小朋友離屏幕太近，系統(tǒng)就會彈出一個氣泡來提醒。聶靖騏說，這中間有個平衡問題，不能提醒太頻繁，打擾聽課。

“比如看到你頭都要貼在屏幕上了，就發(fā)個提醒。”楊森說，提醒的使用，是非常嚴(yán)格的。

小朋友，你咿呀說的是啥？

還是從2020年暑期開始，小朋友們還會發(fā)現(xiàn)：咦，可以跟屏幕說話？它不但能聽得懂，還會把自己說的話飄在上面。

這個暑假，作業(yè)幫在在線教育行業(yè)中，率先推出了彈幕功能。

“以前，老師提一個問題，學(xué)生需要點一下輸入法，一下子就占了半個屏幕在下面打字，這樣的體驗很差�！弊鳂I(yè)幫智能語音技術(shù)負(fù)責(zé)人王強(qiáng)強(qiáng)說，尤其對于低年級的小孩子，一二年級，他們可能還不會打字，或者打字很慢。

但老師和學(xué)生又是需要互動的。老師想要知道學(xué)生聽課的反饋，而孩子們需要表達(dá)，“就像我們在正常的課堂那樣”。

有了語音彈幕功能后，老師問一個問題，學(xué)生的頁面上會直接跳出來一個小話筒，他可以直接對著屏幕說話。

然后AI會識別孩子們的發(fā)言，“匯報”給老師，比如最高頻的4個回答是什么。

鼓勵孩子開口，參與到課堂中。

“營造很有意思的課堂氛圍�！碑a(chǎn)品經(jīng)理聶靖騏介紹，語音彈幕最主要的使用場景是小學(xué)語文。例如老師讀完一個故事，問一個開放性的問題，學(xué)生就可以直接說。

聶靖騏說，老師們也很喜歡這個功能，例如問孩子們是不是聽懂了，可以很快收到反饋。

從學(xué)生的角度，他不用打字，可以快速回答。

王強(qiáng)強(qiáng)介紹，2020年暑期前，他們小規(guī)模測試彈幕，發(fā)現(xiàn)小朋友很喜歡，孩子們會覺得很智能，屏幕能聽懂自己說話，很驚喜。

暑假正式上線，高并發(fā)的問題來了。

什么是高并發(fā)？作業(yè)幫直播課，有時幾千、幾萬乃至更多的孩子一起上課，老師同一個問題，當(dāng)孩子們一起開口回答，就是瞬時高并發(fā)。

王強(qiáng)強(qiáng)舉例，想象一下春晚搶紅包的場景，幾萬路瞬時打進(jìn)來，“而我們相當(dāng)于天天搶紅包”。

也就是，機(jī)器需要巨大的“腦容量”，去支撐巨大的瞬時識別能力。

“我們當(dāng)時壓力特別大。”王強(qiáng)強(qiáng)說，最后是作業(yè)幫副總裁羅亮拍的板，加機(jī)器。羅亮說，這個功能挺好的，不能因為成本變高就不讓孩子們用了。

“最后買了那么多機(jī)器，硬是把它給扛住了�！蓖鯊�(qiáng)強(qiáng)說。

除了扛住高并發(fā)，要讓機(jī)器識別出孩子們在說些什么，也不容易。

“一個是，他說的可能不太清晰。然后還可能，他說的話，跟老師的提問沒有關(guān)系。甚至和中國話、外國話都沒什么關(guān)系，小朋友自創(chuàng)語言�！蓖鯊�(qiáng)強(qiáng)說，還有時會混有家長的一些聲音。

還有口音問題。學(xué)生們來自各地，很多孩子來自三四線、五六線城市，如果普通話不標(biāo)準(zhǔn)，或者說有方言問題，怎么去識別？

王強(qiáng)強(qiáng)說，沒有更好的方法，只能不斷地訓(xùn)練AI的識別能力。

聽懂孩子們，它是個不斷優(yōu)化的過程。

“幾千個孩子去說，一定有十幾、二十個說得好的，說得更標(biāo)準(zhǔn)的。”王強(qiáng)強(qiáng)說，然后算法通過半監(jiān)督的方式自動學(xué)習(xí)，增強(qiáng)模型。

一起搶答吧，可以聽到彼此了

整體得分9．48分，滿分10分。這是去年暑假后，孩子們對新的AI功能的打分。

產(chǎn)品經(jīng)理張琴回憶，也正是暑期后這次問卷，他們發(fā)現(xiàn)在小組直播間，孩子們已不滿足只是自己說。

70％以上的同學(xué)表示：想聽到同組小朋友的聲音。

讓孩子們互相聽到，實現(xiàn)起來，技術(shù)難度很高。

最主要是回聲和噪音的消除問題。就想象一下幾萬人一起在線開會，作業(yè)幫流媒體客戶端負(fù)責(zé)人曾建斌說。

到底要不要開發(fā)這個功能？產(chǎn)品經(jīng)理去和技術(shù)的同事提需求，探討。

大家爭來爭去，會開來開去，決定還是要上。

并且也要讓老師實時聽到孩子們的聲音。此前孩子們的發(fā)言，老師看到的是聲音轉(zhuǎn)成的文字。

產(chǎn)品經(jīng)理聶靖騏說，大家覺得這也會營造很好的課堂氛圍，“我同組其他的同學(xué)在回答（問題），可能我本來不想說，我聽了別人說，我也想說了�！�

但也是極大的挑戰(zhàn)，哪怕一個人的設(shè)備傳回噪音，就可能毀了一堂課。

而作業(yè)幫的孩子們上課的場景很復(fù)雜，使用的設(shè)備更是龐雜。

曾建斌說，孩子們可能在菜市場上課，在工地，在商場。背景會是各種噪音。他們使用的可能是無牌或雜牌設(shè)備，識別起來很難，更不用說針對機(jī)型做適配。

上灰度測試。也就是選特定課堂，小試一下效果。結(jié)果有老師說很吵，吵了一堂課。有孩子說，吵死我啦。

問題比預(yù)估的還嚴(yán)重。曾建斌他們趕緊停了測試。攻堅，加班加點。

去找來所有可能找到的機(jī)型，做適配，降噪消音。個別實在識別不出的設(shè)備，再想辦法。

據(jù)曾建斌介紹，相對棘手的機(jī)型，占比大約不到1％，但“這也不能放棄，不能說，你手機(jī)不行就不要上作業(yè)幫的課了”。

1月27日，作業(yè)幫集體發(fā)言實現(xiàn)了升級。孩子們可以聽到同組同學(xué)了。而老師也可以隨機(jī)選取一組同學(xué)，聽他們的實時發(fā)言。

在小學(xué)產(chǎn)品負(fù)責(zé)人曹越看來，這個功能，也是基于現(xiàn)實課堂的場景，小朋友們能聽到老師，老師能聽到小朋友，小伙伴能聽到彼此。

學(xué)習(xí)不是一個單向的事情，曹越說，希望孩子們一起，可能就會相互影響，希望能把課上得更好。

建一個渠道，或許你會看到更多可能

寒假到來。小朋友們能聽到隊友的聲音了，但效果怎么樣，他們喜歡嗎？

對于張琴他們來說，新功能上線，對用戶體驗的跟進(jìn)也就開始了。

而早一些上線的功能，依然需要持續(xù)優(yōu)化。例如專注力檢測。“我們還在不斷去找各種維度，豐富模型�！辈茉浇榻B。

對于曾建斌他們來說，集體發(fā)言升級可能只是新挑戰(zhàn)的開始。新的問題隨時可能出現(xiàn)，新的機(jī)型，新的噪音。

而每一個問題都可能影響一堂課，乃至更多。

在作業(yè)幫副總裁羅亮看來，在教育公司做程序員，它是不一樣的。對于其他行業(yè)的程序員，用戶可能是一個數(shù)字，一個pv，一個uv。但對于教育公司的程序員，用戶就在你面前，他是一個真實的孩子。

羅亮舉了個例子，有次一個程序員已經(jīng)下班了，有個輔導(dǎo)老師找他，說有個孩子因為網(wǎng)絡(luò)問題無法做互動題急得直哭，這個程序員就趕緊回公司，去看是什么問題。

“我們是在線教育，如果我們技術(shù)服務(wù)不好的話，老師講得再好，學(xué)生體驗也會受影響�！痹�建斌說。

在張琴看來，在線教育優(yōu)勢明顯，匯集了優(yōu)質(zhì)資源，觸及更多學(xué)生。但局限性也很明顯，例如感知力的影響。

比如，老師是在屏幕后面的，他其實對學(xué)生的影響效果會打折扣，張琴說，這種不足需要更多的手段去提升，也就是去不斷減少折扣。

教育應(yīng)該是拓展一些可能性，語音實驗室負(fù)責(zé)人（智能語音技術(shù)負(fù)責(zé)人）王強(qiáng)強(qiáng)認(rèn)為。而技術(shù)可以幫助帶來更多的可能性。畢竟，一塊屏幕連接的，是不同地區(qū)的孩子和老師。

AI，技術(shù)，更好的師資，在王強(qiáng)強(qiáng)看來，都是一種輔助手段。都是“術(shù)”。而“道”，是建立一個渠道，一個平臺，讓孩子們看到更多的可能性。他就可能走得更遠(yuǎn)。

“其實我們要做的，就是這樣的事情�！蓖鯊�(qiáng)強(qiáng)說。