目錄：

一、為什么需要自動機器學習

二、超參數(shù)優(yōu)化 Hyper－parameter Optimization

三、元學習 Meta Learning

四、神經(jīng)網(wǎng)絡架構搜索 Neural Architecture Search

五、自動化特征工程

六、其它自動機器學習工具集

一、為什么需要自動機器學習

對于機器學習的新用戶而言，使用機器學習算法的一個主要的障礙就是算法的性能受許多的設計決策影響。隨著深度學習的流行，工程師需要選擇相應的神經(jīng)網(wǎng)絡架構，訓練過程，正則化方法，超參數(shù)等等，所有的這些都對算法的性能有很大的影響。于是深度學習工程師也被戲稱為調(diào)參工程師。

自動機器學習（AutoML）的目標就是使用自動化的數(shù)據(jù)驅(qū)動方式來做出上述的決策。用戶只要提供數(shù)據(jù)，自動機器學習系統(tǒng)自動的決定最佳的方案。領域?qū)＜也辉傩枰�苦惱于學習各種機器學習的算法。

自動機器學習不光包括大家熟知的算法選擇，超參數(shù)優(yōu)化，和神經(jīng)網(wǎng)絡架構搜索，還覆蓋機器學習工作流的每一步：

自動準備數(shù)據(jù)

自動特征選擇

自動選擇算法

超參數(shù)優(yōu)化

自動流水線／工作流構建

神經(jīng)網(wǎng)絡架構搜索

自動模型選擇和集成學習

二、超參數(shù)優(yōu)化

Hyper－parameter Optimization

學習器模型中一般有兩類參數(shù)，一類是可以從數(shù)據(jù)中學習估計得到，還有一類參數(shù)時無法從數(shù)據(jù)中估計，只能靠人的經(jīng)驗進行設計指定，后者成為超參數(shù)。比如，支持向量機里面的C Kernal Gamma；樸素貝葉斯里面的alpha等。

超參數(shù)優(yōu)化有很多方法：

最常見的類型是黑盒優(yōu)化 （black－box function optimization）。所謂黑盒優(yōu)化，就是將決策網(wǎng)絡當作是一個黑盒來進行優(yōu)化，僅關心輸入和輸出，而忽略其內(nèi)部機制。決策網(wǎng)絡通常是可以參數(shù)化的，這時候我們進行優(yōu)化首先要考慮的是收斂性。

以下的幾類方法都是屬于黑盒優(yōu)化：

網(wǎng)格搜索 （grid search）

Grid search大家都應該比較熟悉，是一種通過遍歷給定的參數(shù)組合來優(yōu)化模型表現(xiàn)的方法。網(wǎng)格搜索的問題是很容易發(fā)生維度災難，優(yōu)點是很容易并行。

隨機搜索 （random search）

隨機搜索是利用隨機數(shù)求極小點而求得函數(shù)近似的最優(yōu)解的方法。

很多時候，隨機搜索比網(wǎng)格搜索效果要更好，但是我們可以從上圖看出，它們都不能保證找到最優(yōu)解。

貝葉斯優(yōu)化

貝葉斯優(yōu)化是一種迭代的優(yōu)化算法，包含兩個主要的元素，輸入數(shù)據(jù)假設的模型和一個采集函數(shù)用來來決定下一步要評估哪一個點。每一步迭代，都使用所有的觀測數(shù)據(jù)fit模型，然后利用激活函數(shù)預測模型的概率分布，決定如何利用參數(shù)點，權衡是Explaoration還是Exploitation。相對于其它的黑盒優(yōu)化算法，激活函數(shù)的計算量要少很多，這也是為什么貝葉斯優(yōu)化被認為是更好的超參數(shù)調(diào)優(yōu)的算法。

黑盒優(yōu)化的一些工具：

hyperopt

hyperopt 是一個Python庫，可以用來尋找實數(shù)，離散值，條件維度等搜索空間的最佳值

Google Vizier

Google的內(nèi)部的機器學習系統(tǒng) Google Vizier能夠利用遷移學習等技術自動優(yōu)化其他機器學習系統(tǒng)的超參數(shù)

advisor

Google Vizier的開源實現(xiàn)

katib

基于Kubernetes的超參數(shù)優(yōu)化工具

由于優(yōu)化目標具有不連續(xù)、不可導等數(shù)學性質(zhì)，所以一些搜索和非梯度優(yōu)化算法被用來求解該問題，包括我們上面提到的這些黑盒算法。此類算法通過采樣和對采樣的評價進行搜索，往往需要大量對采樣的評價才能獲得比較好的結果。然而，在自動機器學習任務中評價往往通過 k 折交叉驗證獲得，在大數(shù)據(jù)集的機器學習任務上，獲得一個評價的時間代價巨大。這也影響了優(yōu)化算法在自動機器學習問題上的效果。所以一些減少評價代價的方法被提出來，其中多保真度優(yōu)化（multi－fidelity methods）就是其中的一種。這里的技術包括：基于學習曲線來決定是否要提前終止訓練，探索－利用困境（exploration exploitation）的多臂老虎機算法 （Multi－armed bandit）等等。

另外還有一些研究是基于梯度下降的優(yōu)化。

超參數(shù)優(yōu)化面臨許多挑戰(zhàn)：

對于大規(guī)模的模型或者復雜的機器學習流水線而言，需要評估的空間規(guī)模非常大

配置空間很復雜

無法或者很難利用損失函數(shù)的梯度變化

訓練集合的規(guī)模太小

很容易過擬合