訂閱
糾錯
加入自媒體

深蘭科技打破傳統(tǒng)!用強化機器學習實現(xiàn)無人機軌跡規(guī)劃

2021-05-28 11:38
AI世界
關注

近年來,無人機已被廣泛應用于很多領域,它不僅可以完成很多的任務,包括軌跡規(guī)劃、避障、巡航等,在民用、軍事都有很廣泛應用,而且還有降低成本、提高效率、減少損失等很多作用。

但是傳統(tǒng)的無人機任務都采用飛控控制,需要人為操作。為了使無人機可以具備更廣的適用性,或者從技術上來說擁有更好的泛化能力,深蘭科技科學院嘗試用強化學習來訓練無人機做指定的任務。如果訓練效果能夠達到足夠穩(wěn)定的性能,則可以進一步實現(xiàn)商用目的。本文在此基礎上,帶大家簡單了解一下強化學習的基礎知識。

強化學習小課堂

一、什么是強化學習?

1.強化學習

強化學習(Reinforcement Learning RL)也有很多其他名字,例如再勵學習、增強學習、評價學習,是機器學習的范式和方法論之一,用于描述和解決智能體在與環(huán)境的交互過程中,通過學習策略以達成回報最大化或?qū)崿F(xiàn)特定目標的問題。

探究|深蘭科技打破傳統(tǒng)!用強化機器學習實現(xiàn)無人機軌跡規(guī)劃

上圖為經(jīng)典的強化學習結構圖,從圖片中可以看出,強化學習過程主要由4部分構成:智能體(agent)、觀測到的狀態(tài)(observation/state)、獎勵(reward)和行為(action)。

一個強化學習的過程中,智能體獲得從當前環(huán)境中觀測到的狀態(tài),然后根據(jù)這一狀態(tài)采取一定的行為或策略,同時,有一個評價系統(tǒng)來評價這個行為的好壞,并返回正/負獎勵給到智能體。循環(huán)往復,直到完成整個任務,此為一次強化學習的交互。整個強化學習訓練過程就是,智能體與環(huán)境不斷的交互,最終會學習到合理的策略,讓獎勵最大或者達到某個任務(指定的狀態(tài))。

強化學習受行為主義心理學的啟發(fā),例如巴甫洛夫條件反射實驗,訓練搖鈴小狗流口水。小狗看到吃的流口水、搖鈴不流口水,實驗中就采取搖鈴并給狗喂狗糧的方法不停訓練,最終即使在沒有狗糧,只搖鈴的情況下,小狗也會流口水。

探究|深蘭科技打破傳統(tǒng)!用強化機器學習實現(xiàn)無人機軌跡規(guī)劃

強化學習與此類似,是讓智能體在與環(huán)境交互的過程中,一旦選擇對的行為則給予正獎勵加強這種行為,在不斷的訓練過程中使得智能體選擇最合適的行為,最終使得智能體的每一步都能選擇合理的行為,從而達到整體任務獎勵最大化,并完成任務。

2.深度強化學習

我們一般所說的強化學習其實是深度強化學習(Deep Reinforcement Learning DRL),深度強化學習是強化學習與深度學習結合的結果。顧名思義,就是將傳統(tǒng)強化學習中的某一部分用深度學習來完成。

傳統(tǒng)強化學習中的行為以及價值都是需要人為定義的,這也就是為什么傳統(tǒng)強化學習起源較早,但是應用并不廣泛的原因之一。而深度學習恰好將這一問題解決了,強化學習中的行為以及價值都用一個深度學習的網(wǎng)絡來學習得到,這樣不需要人為設定,使得強化學習可以廣泛應用于很多領域。而傳統(tǒng)強化學習無法解決的連續(xù)性動作的問題,深度強化學習也可以解決,使用對應的Actor-critic網(wǎng)絡即可。

深度強化學習的分類,有很多種分類標準:

(1)從智能體的個數(shù)上,可分為單智能體算法和多智能體算法;

(2)從是否基于模型的角度,可分為model-based和model-free;

(3)從訓練時策略的選擇,可分為on-policy和off-policy等等。

   這里不一一展開,但在實際運用強化學習的時候,根據(jù)具體的任務或者項目,需要選擇合適的深度強化學習算法。

二、強化學習可以解決什么問題?

這張圖是2016年引起熱議人工智能的AlphaGo事件,AlphaGo打敗了圍棋世界冠軍李世石。AlphaGo作為一個智能體,就使用了深度強化學習技術進行了訓練。在這一場景中,狀態(tài)就是每一時刻的棋盤,行為就是下棋的動作,而評價系統(tǒng)會根據(jù)每一步棋的價值返回獎勵。完成訓練的AlphaGo在與李世石的比賽中,根據(jù)當前的棋盤選擇最優(yōu)的行為“下一步棋”,最終擊敗了李世石,這就是強化學習的一個具體應用。

智能體在不斷與環(huán)境交互的過程中,會保留上次學習過的經(jīng)驗,下一輪與環(huán)境交互時,會選擇獎勵更大的行為,一般用來解決“智能體與環(huán)境交互時通過決策選擇最好的行為”的這一類問題。

具體到現(xiàn)在的應用場景很廣泛:

(1)工業(yè)應用:機器人作業(yè);

(2)金融貿(mào)易應用:預測未來銷售額、預測股價等;

(3)自然語言處理(NLP)應用:文本摘要、自動問答、機器翻譯等;

(4)醫(yī)療保健應用:提供治療策略;

(5)工程中的應用:數(shù)據(jù)處理、模型訓練;

(6)推薦系統(tǒng)中的應用:新聞推薦、時尚推薦等;

(7)游戲中的應用:AlphaGo、AlphaZero等;

(8)廣告營銷中的應用:實時競價策略;

(9)機器人控制中的應用:機械臂抓取物體等。

三、強化學習在無人機項目中的應用

1.簡單軌跡規(guī)劃

探究|深蘭科技打破傳統(tǒng)!用強化機器學習實現(xiàn)無人機軌跡規(guī)劃

本項目研究的是無人機圓周軌跡運動規(guī)劃。在這一簡單任務中,需要讓無人機飛到指定位置懸停,然后一直做圓周運動。簡單分析這一任務,智能體就是無人機,行為就是對無人機的旋翼發(fā)出操作指令,狀態(tài)就是當前無人機所處的位置以及無人機的性能,獎勵則是根據(jù)無人機是否沿著圓周運動的軌跡判斷。

具體到深度強化學習的框架,采用的是on-policy的PPO框架,之后也會用off-policy的DDPG、SAC框架進行比對效果。

2.復雜軌跡規(guī)劃

在許多機器人任務中,如無人機比賽,其目標是盡可能快地穿越一組路徑點。這項任務的一個關鍵挑戰(zhàn)是規(guī)劃最小時間軌跡,這通常通過假設路徑點的完美知識來解決。這樣所得到的解決方案要么高度專用于單軌道布局,要么由于簡化平臺動力學假設而次優(yōu),方案不具有可擴展性。

視頻是使用深度強化學習和相對門觀察的方法,自適應地進行隨機軌道布局的效果展示,與傳統(tǒng)的假設路徑點軌道方法相比,基于軌跡優(yōu)化的方法顯示出了顯著的優(yōu)勢。在仿真環(huán)境和現(xiàn)實世界中的一組軌道上進行了評估,使用真實四旋翼無人機實現(xiàn)了高達17米/秒的飛行速度。

3.懸掛運輸

第二個主流方向是懸掛運輸,運輸懸掛的有效載荷對自動駕駛飛行器來說是一個挑戰(zhàn),因為有效載荷會對機器人的動力學造成重大和不可預測的變化。這些變化可能會導致飛行性能不理想,甚至會導致災難性故障。視頻是運用自適應控制與深度強化學習在這一問題上的效果展示,可以看出這種方法在此任務表現(xiàn)良好。

如果對強化學習或者無人機有興趣的朋友可以與我們聯(lián)系,一起討論學習。

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯
x
*文字標題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號