邏輯回歸

將result歸一化到［0， 1］區(qū)間，即使用一個邏輯方程將線性回歸歸一化，稱為邏輯回歸（logisticregression）。它是一種廣義的線性回歸。

邏輯回歸（logistic regression）可分為二元邏輯回歸、多元邏輯回歸。

邏輯回歸（logistic regression）是與線性回歸相對應(yīng)的一種分類方法。該算法的基本概念由線性回歸推導(dǎo)而出。邏輯回歸通過邏輯函數(shù)（即 Sigmoid 函數(shù)）將預(yù)測映射到 0 到 1 中間，因此預(yù)測值就可以看成某個類別的概率。

邏輯回歸模型仍然還是線性的。只有在數(shù)據(jù)是線性可分，即數(shù)據(jù)可被一個超平面完全分離時，算法才能有優(yōu)秀的表現(xiàn)。同樣 Logistic 模型能懲罰模型系數(shù)而進行正則化。

算法優(yōu)點：

1）輸出有很好的概率解釋；

2） 算法也能正則化而避免過擬合；

3）Logistic 模型很容易使用隨機梯度下降和新數(shù)據(jù)更新模型權(quán)重。

算法缺點：

Logistic 回歸在多條或非線性決策邊界時性能比較差。

最小二乘法：

最小二乘法（或稱最小平方法）是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法可用于直線或曲線擬合。其他一些優(yōu)化問題也可用最小二乘法來解決。

梯度下降法：

梯度下降法是一種迭代求全局最優(yōu)（凸函數(shù)）或局部最優(yōu)（非凸函數(shù)）的算法。在大數(shù)據(jù)情況下，數(shù)據(jù)的特征維度很多維，那么此時對其使用最小二乘法計算量會很大。于是考慮采用梯度下降法來求出最優(yōu)。

梯度下降法主要思想：人在山頂下，有n多條路徑下到山的最底部。從山頂當(dāng)前位置計算所有方向的偏導(dǎo)，求出當(dāng)前位置的各個偏導(dǎo)后，得到各個偏導(dǎo)函數(shù)的最小值，最小值即當(dāng)前位置梯度的反方向，所以稱為梯度下降法。

回歸步驟：

1）確定變量：明確預(yù)測的具體目標，也就確定了因變量。通過調(diào)查和查閱資料，尋找與預(yù)測目標的相關(guān)影響因素，即自變量，并從中選出主要的影響因素。

2）建立預(yù)測模型：依據(jù)自變量和因變量的歷史統(tǒng)計資料進行計算，在此基礎(chǔ)上建立回歸分析方程，即回歸分析預(yù)測模型。

3）進行相關(guān)分析：回歸分析是對具有因果關(guān)系的影響因素（自變量）和預(yù)測對象（因變量）所進行的數(shù)理統(tǒng)計分析處理。一般需要求出相關(guān)關(guān)系（通常用逐步回歸、向前回歸和向后回歸等方法），以相關(guān)系數(shù)的大小來判斷自變量和因變量的相關(guān)程度。

4）計算預(yù)測誤差：回歸預(yù)測模型是否可用于實際預(yù)測，取決于對回歸預(yù)測模型的檢驗和對預(yù)測誤差的計算�；貧w方程只有通過各種檢驗，且預(yù)測誤差較小，才能將回歸方程作為預(yù)測模型進行預(yù)測。

5）確定預(yù)測值：利用回歸預(yù)測模型計算預(yù)測值，并對預(yù)測值進行綜合分析，確定最后的預(yù)測值。

注意問題：

正確應(yīng)用回歸分析預(yù)測時應(yīng)注意：

1）用定性分析判斷現(xiàn)象之間的依存關(guān)系；

2）避免回歸預(yù)測的任意外推；

3）應(yīng)用合適的數(shù)據(jù)資料．

回歸應(yīng)用：

回歸分析是通過規(guī)定因變量和自變量來確定變量之間的因果關(guān)系，建立回歸模型，并根據(jù)實測數(shù)據(jù)來求解模型的各個參數(shù)，然后評價回歸模型是否能夠很好的擬合實測數(shù)據(jù)；如果能夠很好的擬合，則可以根據(jù)自變量作進一步預(yù)測。

一般來說，對于連續(xù)值預(yù)測可采用線性回歸和非線性回歸；對于離散值／類別預(yù)測，可采用邏輯回歸。

線性回歸用在：銷售預(yù)測、風(fēng)險評估等領(lǐng)域。

非線性回歸用在：經(jīng)濟預(yù)測、人力需求等領(lǐng)域。

邏輯回歸用在：數(shù)據(jù)挖掘，疾病自動診斷等領(lǐng)域。

結(jié)語：

回歸模型能夠解決預(yù)測和分類問題。根據(jù)自變量的個數(shù)分為一元和多元回歸；根據(jù)是否線性關(guān)系分為線性回歸和非線性回歸。在求解回歸模型時要在特定的情況下選用對應(yīng)的方法，在維度小或線性回歸時可選用最小二乘法，而在Logistic回歸時應(yīng)選用梯度下降法。回歸模型在人工智能之機器學(xué)習(xí)、經(jīng)濟預(yù)測、數(shù)據(jù)挖掘，疾病自動診斷、銷售預(yù)測和風(fēng)險評估等方面有著廣泛應(yīng)用。