近年來，無人機已被廣泛應用于很多領域，它不僅可以完成很多的任務，包括軌跡規(guī)劃、避障、巡航等，在民用、軍事都有很廣泛應用，而且還有降低成本、提高效率、減少損失等很多作用。

但是傳統(tǒng)的無人機任務都采用飛控控制，需要人為操作。為了使無人機可以具備更廣的適用性，或者從技術上來說擁有更好的泛化能力，深蘭科技科學院嘗試用強化學習來訓練無人機做指定的任務。如果訓練效果能夠達到足夠穩(wěn)定的性能，則可以進一步實現(xiàn)商用目的。本文在此基礎上，帶大家簡單了解一下強化學習的基礎知識。

強化學習小課堂

一、什么是強化學習？

1．強化學習

強化學習（Reinforcement Learning RL）也有很多其他名字，例如再勵學習、增強學習、評價學習，是機器學習的范式和方法論之一，用于描述和解決智能體在與環(huán)境的交互過程中，通過學習策略以達成回報最大化或?qū)崿F(xiàn)特定目標的問題。

上圖為經(jīng)典的強化學習結構圖，從圖片中可以看出，強化學習過程主要由4部分構成：智能體（agent）、觀測到的狀態(tài)（observation／state）、獎勵（reward）和行為（action）。

一個強化學習的過程中，智能體獲得從當前環(huán)境中觀測到的狀態(tài)，然后根據(jù)這一狀態(tài)采取一定的行為或策略，同時，有一個評價系統(tǒng)來評價這個行為的好壞，并返回正／負獎勵給到智能體。循環(huán)往復，直到完成整個任務，此為一次強化學習的交互。整個強化學習訓練過程就是，智能體與環(huán)境不斷的交互，最終會學習到合理的策略，讓獎勵最大或者達到某個任務（指定的狀態(tài)）。

強化學習受行為主義心理學的啟發(fā)，例如巴甫洛夫條件反射實驗，訓練搖鈴小狗流口水。小狗看到吃的流口水、搖鈴不流口水，實驗中就采取搖鈴并給狗喂狗糧的方法不停訓練，最終即使在沒有狗糧，只搖鈴的情況下，小狗也會流口水。

強化學習與此類似，是讓智能體在與環(huán)境交互的過程中，一旦選擇對的行為則給予正獎勵加強這種行為，在不斷的訓練過程中使得智能體選擇最合適的行為，最終使得智能體的每一步都能選擇合理的行為，從而達到整體任務獎勵最大化，并完成任務。

2．深度強化學習

我們一般所說的強化學習其實是深度強化學習（Deep Reinforcement Learning DRL），深度強化學習是強化學習與深度學習結合的結果。顧名思義，就是將傳統(tǒng)強化學習中的某一部分用深度學習來完成。

傳統(tǒng)強化學習中的行為以及價值都是需要人為定義的，這也就是為什么傳統(tǒng)強化學習起源較早，但是應用并不廣泛的原因之一。而深度學習恰好將這一問題解決了，強化學習中的行為以及價值都用一個深度學習的網(wǎng)絡來學習得到，這樣不需要人為設定，使得強化學習可以廣泛應用于很多領域。而傳統(tǒng)強化學習無法解決的連續(xù)性動作的問題，深度強化學習也可以解決，使用對應的Actor－critic網(wǎng)絡即可。

深度強化學習的分類，有很多種分類標準：

（1）從智能體的個數(shù)上，可分為單智能體算法和多智能體算法；

（2）從是否基于模型的角度，可分為model－based和model－free；

（3）從訓練時策略的選擇，可分為on－policy和off－policy等等。

   這里不一一展開，但在實際運用強化學習的時候，根據(jù)具體的任務或者項目，需要選擇合適的深度強化學習算法。

二、強化學習可以解決什么問題？

這張圖是2016年引起熱議人工智能的AlphaGo事件，AlphaGo打敗了圍棋世界冠軍李世石。AlphaGo作為一個智能體，就使用了深度強化學習技術進行了訓練。在這一場景中，狀態(tài)就是每一時刻的棋盤，行為就是下棋的動作，而評價系統(tǒng)會根據(jù)每一步棋的價值返回獎勵。完成訓練的AlphaGo在與李世石的比賽中，根據(jù)當前的棋盤選擇最優(yōu)的行為“下一步棋”，最終擊敗了李世石，這就是強化學習的一個具體應用。

智能體在不斷與環(huán)境交互的過程中，會保留上次學習過的經(jīng)驗，下一輪與環(huán)境交互時，會選擇獎勵更大的行為，一般用來解決“智能體與環(huán)境交互時通過決策選擇最好的行為”的這一類問題。

具體到現(xiàn)在的應用場景很廣泛：

（1）工業(yè)應用：機器人作業(yè)；

（2）金融貿(mào)易應用：預測未來銷售額、預測股價等；

（3）自然語言處理（NLP）應用：文本摘要、自動問答、機器翻譯等；

（4）醫(yī)療保健應用：提供治療策略；

（5）工程中的應用：數(shù)據(jù)處理、模型訓練；

（6）推薦系統(tǒng)中的應用：新聞推薦、時尚推薦等；

（7）游戲中的應用：AlphaGo、AlphaZero等；

（8）廣告營銷中的應用：實時競價策略；

（9）機器人控制中的應用：機械臂抓取物體等。

三、強化學習在無人機項目中的應用

1．簡單軌跡規(guī)劃

本項目研究的是無人機圓周軌跡運動規(guī)劃。在這一簡單任務中，需要讓無人機飛到指定位置懸停，然后一直做圓周運動。簡單分析這一任務，智能體就是無人機，行為就是對無人機的旋翼發(fā)出操作指令，狀態(tài)就是當前無人機所處的位置以及無人機的性能，獎勵則是根據(jù)無人機是否沿著圓周運動的軌跡判斷。

具體到深度強化學習的框架，采用的是on－policy的PPO框架，之后也會用off－policy的DDPG、SAC框架進行比對效果。

2．復雜軌跡規(guī)劃

在許多機器人任務中，如無人機比賽，其目標是盡可能快地穿越一組路徑點。這項任務的一個關鍵挑戰(zhàn)是規(guī)劃最小時間軌跡，這通常通過假設路徑點的完美知識來解決。這樣所得到的解決方案要么高度專用于單軌道布局，要么由于簡化平臺動力學假設而次優(yōu)，方案不具有可擴展性。

視頻是使用深度強化學習和相對門觀察的方法，自適應地進行隨機軌道布局的效果展示，與傳統(tǒng)的假設路徑點軌道方法相比，基于軌跡優(yōu)化的方法顯示出了顯著的優(yōu)勢。在仿真環(huán)境和現(xiàn)實世界中的一組軌道上進行了評估，使用真實四旋翼無人機實現(xiàn)了高達17米／秒的飛行速度。

3．懸掛運輸

第二個主流方向是懸掛運輸，運輸懸掛的有效載荷對自動駕駛飛行器來說是一個挑戰(zhàn)，因為有效載荷會對機器人的動力學造成重大和不可預測的變化。這些變化可能會導致飛行性能不理想，甚至會導致災難性故障。視頻是運用自適應控制與深度強化學習在這一問題上的效果展示，可以看出這種方法在此任務表現(xiàn)良好。

如果對強化學習或者無人機有興趣的朋友可以與我們聯(lián)系，一起討論學習。