模型訓(xùn)練:優(yōu)化人工智能和機(jī)器學(xué)習(xí),完善DevOps工具的使用
據(jù)說(shuō)法餐的秘訣在于黃油、黃油、更多的黃油。同樣,對(duì)于DevOps而言,成功的三大秘訣是自動(dòng)化、自動(dòng)化、更高程度的自動(dòng)化,而這一切歸根結(jié)底都在于構(gòu)建能夠更快速地不斷發(fā)布新版軟件的流程。
盡管人們認(rèn)為在人工智能(AI)和機(jī)器學(xué)習(xí)(ML)方面,包括特征工程和參數(shù)調(diào)整,仍然涉及大量的手動(dòng)工作。但自動(dòng)化在這些領(lǐng)域至關(guān)重要,而MLOps即機(jī)器學(xué)習(xí)運(yùn)營(yíng)已被證明對(duì)于各類企業(yè)來(lái)說(shuō)都是一項(xiàng)出色的業(yè)務(wù)決策。其最終的目標(biāo)是實(shí)現(xiàn)模型構(gòu)建與研究的自動(dòng)化,從而在整個(gè)開(kāi)發(fā)流程中進(jìn)一步實(shí)現(xiàn)協(xié)作和版本控制。
然而,由于生產(chǎn)中模型的動(dòng)態(tài)性質(zhì),這并不總是那么容易實(shí)現(xiàn)。部署模型可能會(huì)改變反饋閉環(huán)和數(shù)據(jù),因此需要不斷地重新訓(xùn)練和更新。要想在不進(jìn)行過(guò)多人工干預(yù)的情況下安全地反復(fù)重新部署模型,自動(dòng)化就至關(guān)重要。
采用機(jī)器學(xué)習(xí)來(lái)優(yōu)化使用
在DevOps環(huán)境中預(yù)測(cè)使用模式包括以下兩種基本現(xiàn)實(shí)場(chǎng)景:
第一種情況,根據(jù)DevOps成熟度對(duì)企業(yè)進(jìn)行分類,以確定其成熟度以及產(chǎn)品使用中存在的差距。例如,如果訂購(gòu)的工具級(jí)別較低,但卻有更高級(jí)的需求和要求,升級(jí)到更高級(jí)別就可能會(huì)有所幫助。DevOps決策者需要根據(jù)團(tuán)隊(duì)的使用模式來(lái)生成個(gè)性化建議,以優(yōu)化效率。
第二種情況,重點(diǎn)更多在于預(yù)測(cè)使用模式和檢測(cè)異常,以識(shí)別異常情況的發(fā)生時(shí)間,并提前一到三個(gè)月提出使用見(jiàn)解。這有助于評(píng)估DevOps工作流程的健康狀況,識(shí)別積極或消極的趨勢(shì),并更輕松地處理任何突發(fā)異常情況。持續(xù)的分析以及部署和監(jiān)控工作可確保高質(zhì)量的模型投產(chǎn)。
這兩種場(chǎng)景類似于銷售代表在Salesforce中使用模型的方式。他們會(huì)收到有關(guān)客戶成熟度評(píng)級(jí)、反饋和可解釋性的信息。可解釋性的部分會(huì)深入地提供有關(guān)模型將客戶分為高、中或低成熟度的原因。造成這種分類的因素有許多,包括客戶體驗(yàn)、培訓(xùn)、技術(shù)使用和聯(lián)系人數(shù)量。這些信息使銷售代表能夠與客戶進(jìn)行更有效的對(duì)話,并提出適當(dāng)?shù)纳?jí)或改進(jìn)建議。
此類分類模型可以使用CatBoost等工具來(lái)構(gòu)建。CatBoost是一款強(qiáng)大的Python機(jī)器學(xué)習(xí)包。這些工具可以處理標(biāo)簽和缺失值,從而簡(jiǎn)化建模過(guò)程。可對(duì)各種輸入進(jìn)行考量,包括網(wǎng)站訪問(wèn)、活動(dòng)出席、自由文本分析、位置、使用模式和第三方數(shù)據(jù),以確定企業(yè)的DevOps成熟度。即使數(shù)據(jù)集不完整,通過(guò)將這些因素納入考量,仍能產(chǎn)出有價(jià)值的見(jiàn)解。
利用時(shí)間序列數(shù)據(jù)來(lái)優(yōu)化使用
時(shí)間序列數(shù)據(jù)模型也可用于預(yù)測(cè)使用模式。時(shí)間序列模型旨在預(yù)測(cè)給定月份剩余時(shí)間以及未來(lái)幾個(gè)月的使用情況,以此分析歷史使用數(shù)據(jù),并識(shí)別趨勢(shì)和異常情況。
時(shí)間序列數(shù)據(jù)工具使團(tuán)隊(duì)能夠以圖表的形式實(shí)現(xiàn)歷史使用數(shù)據(jù)的可視化,顯示周末的使用率較低,而工作日的使用率較高。通過(guò)分析這些數(shù)據(jù),模型可以預(yù)測(cè)未來(lái)趨勢(shì),并提供有關(guān)企業(yè)健康狀況的見(jiàn)解。如果預(yù)測(cè)使用率下降,可視化結(jié)果可能會(huì)顯示出負(fù)面趨勢(shì),企業(yè)便可采取積極措施來(lái)解決這一問(wèn)題。相反,如果預(yù)測(cè)使用率增加,企業(yè)就可以與供應(yīng)商合作采取措施,確保能夠有效地利用工具。
通過(guò)將預(yù)測(cè)的使用情況與圖表上呈現(xiàn)的實(shí)際使用情況進(jìn)行比較,便可識(shí)別異常情況。預(yù)測(cè)數(shù)據(jù)與實(shí)際數(shù)據(jù)之間的巨大差距表明存在異常,異常情況可能有多重含義,如使用量增加或產(chǎn)品使用不當(dāng)。及時(shí)識(shí)別并解決異常對(duì)于確保運(yùn)營(yíng)效率非常重要。
總之,時(shí)間序列模型可以讓企業(yè)預(yù)測(cè)使用情況,追蹤趨勢(shì),識(shí)別異常,并采取適當(dāng)?shù)拇胧┮蕴岣弋a(chǎn)品利用率。
LSTM模型的長(zhǎng)與短
事實(shí)證明,長(zhǎng)短期記憶(LSTM)模型是優(yōu)化使用的絕佳方法。為此,模型的輸入通常包括三個(gè)主要部分:歷史每日使用數(shù)據(jù)、節(jié)假日信息以及工作日/周末指標(biāo)。利用這些輸入,模型就能生成非常準(zhǔn)確的預(yù)測(cè)。
LSTM模型可以生成時(shí)間點(diǎn)快照,包括創(chuàng)建不同時(shí)間段的數(shù)據(jù)集,以測(cè)試模型在多種配置下的性能。Alation等創(chuàng)建SQL查詢的工具可用于管理這些數(shù)據(jù)集,且便于與內(nèi)部團(tuán)隊(duì)成員共享。
團(tuán)隊(duì)還需要實(shí)施驗(yàn)證和測(cè)試流程以確保模型的可靠性。特征重要性對(duì)此過(guò)程至關(guān)重要,且不隨時(shí)間發(fā)生變化。特征重要性的變化可表明數(shù)據(jù)或模型本身存在問(wèn)題,因此對(duì)這些變化的追蹤和監(jiān)控有助于識(shí)別潛在問(wèn)題。
此外,還需要考慮對(duì)輸入數(shù)據(jù)(分類型和數(shù)值型)進(jìn)行測(cè)試。對(duì)于分類數(shù)據(jù),數(shù)量和類別的一致性很重要。同時(shí),對(duì)數(shù)值數(shù)據(jù)的平均值和標(biāo)準(zhǔn)差等指標(biāo)進(jìn)行監(jiān)控,有助于檢測(cè)可能需要注意的顯著變化。
數(shù)據(jù)驗(yàn)證、監(jiān)控和測(cè)試對(duì)于確保模型的準(zhǔn)確性和可靠性至關(guān)重要。
通過(guò)評(píng)估與驗(yàn)證來(lái)比較配置
在比較不同配置(尤其是LSTM模型)時(shí),Valohai等工具使團(tuán)隊(duì)能夠?qū)Σ煌瑫r(shí)間范圍的多個(gè)參數(shù)和數(shù)據(jù)快照?qǐng)?zhí)行網(wǎng)格搜索。提供準(zhǔn)確率、召回率和精確率等衡量標(biāo)準(zhǔn),幫助確定模型的最佳配置。
現(xiàn)代ML工具的價(jià)值在于存檔、共享、以及對(duì)執(zhí)行和結(jié)果進(jìn)行審查的能力。它們還允許對(duì)模型性能指標(biāo)進(jìn)行調(diào)整,而無(wú)需全部重新運(yùn)行。當(dāng)業(yè)務(wù)需求發(fā)生變化時(shí),這將有助于選擇符合新目標(biāo)的不同配置。
在部署方面,模型通常是按照計(jì)劃的時(shí)間運(yùn)行批處理,每天在策略時(shí)間執(zhí)行兩次。這可確保企業(yè)在一日之初即擁有最新數(shù)據(jù),且全天能接收更新。應(yīng)定期對(duì)模型進(jìn)行再訓(xùn)練,以納入新數(shù)據(jù)。
應(yīng)密切監(jiān)控與預(yù)期措施的偏差以及在范圍上的重大變化,并觸發(fā)自動(dòng)警報(bào),以便及時(shí)采取行動(dòng)。此外,日常用戶的反饋在評(píng)估模型性能方面起著至關(guān)重要的作用,因?yàn)檫@些反饋往往超越了召回率和精確率等傳統(tǒng)指標(biāo)。關(guān)閉反饋閉環(huán)可確保根據(jù)實(shí)時(shí)用戶體驗(yàn)和反饋進(jìn)行持續(xù)改進(jìn)。
推動(dòng)價(jià)值與效率的提升
創(chuàng)建經(jīng)過(guò)驗(yàn)證且安全的數(shù)據(jù)科學(xué)和模型訓(xùn)練是許多現(xiàn)代企業(yè)面臨的挑戰(zhàn)。通過(guò)應(yīng)用經(jīng)過(guò)驗(yàn)證且有效的DevOps實(shí)踐,實(shí)現(xiàn)從構(gòu)思到生產(chǎn)和部署的AI和ML流程自動(dòng)化,對(duì)于希望優(yōu)化在整體技術(shù)堆棧中工具使用的企業(yè)能夠提供巨大的價(jià)值。
歸根結(jié)底,這種做法極具商業(yè)意義。它能夠避免閑置工具或功能方面的額外支出,從而提高利潤(rùn)。也許更重要的是,它能鼓舞團(tuán)隊(duì)士氣、提高生產(chǎn)力、留住人才,因?yàn)閳F(tuán)隊(duì)成員不會(huì)被迫執(zhí)行重復(fù)、乏味且耗時(shí)的DevOps任務(wù)。任何開(kāi)發(fā)人員都會(huì)喜歡這樣的環(huán)境。
發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
10月31日立即下載>> 【限時(shí)免費(fèi)下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報(bào)名>>> 【在線會(huì)議】多物理場(chǎng)仿真助跑新能源汽車
-
11月28日立即報(bào)名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會(huì)議
-
12月19日立即報(bào)名>> 【線下會(huì)議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會(huì)
-
即日-12.26火熱報(bào)名中>> OFweek2024中國(guó)智造CIO在線峰會(huì)
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書(shū)》
推薦專題
- 1 【一周車話】沒(méi)有方向盤(pán)和踏板的車,你敢坐嗎?
- 2 特斯拉發(fā)布無(wú)人駕駛車,還未迎來(lái)“Chatgpt時(shí)刻”
- 3 特斯拉股價(jià)大跌15%:Robotaxi離落地還差一個(gè)蘿卜快跑
- 4 馬斯克給的“驚喜”夠嗎?
- 5 大模型“新星”開(kāi)啟變現(xiàn)競(jìng)速
- 6 海信給AI電視打樣,12大AI智能體全面升級(jí)大屏體驗(yàn)
- 7 打完“價(jià)格戰(zhàn)”,大模型還要比什么?
- 8 馬斯克致敬“國(guó)產(chǎn)蘿卜”?
- 9 神經(jīng)網(wǎng)絡(luò),誰(shuí)是盈利最強(qiáng)企業(yè)?
- 10 比蘋(píng)果偉大100倍!真正改寫(xiě)人類歷史的智能產(chǎn)品降臨
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門(mén)市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市