回歸分析算法(干貨!常見的10個回歸分析模型算法，果斷收藏)

入門數據分析，就必須要了解數據挖掘的一些方法，其中比較常提到的有回歸分析。

回歸分析是確定兩種或兩種以上變量間相互依賴的定量關系的一種統計分析方法。在大數據分析中，它是一種預測性的建模技術，它研究的是因變量y（目標）和影響它的自變量x（預測器）之間的回歸模型，從而預測因變量y的發展趨向。當有多個自變量時，可以研究每個自變量x對因變量y的影響強度。

回歸分析的分類：

按照自變量的多少分為：一元回歸分析和多元回歸分析；

按照因變量的多少分為：簡單回歸分析和多重回歸分析；

按照自變量和因變量之間的相關關系不同分為：線性回歸分析和非線性回歸分析。

而回歸算法正是基于上述三種度量，利用技術建立的一種模型。回歸算法有很多種，甚至你也可以自己創造出一種沒被使用過的算法。

但在創新之前，一些常見的回歸算法有必要了解：

Linear Regression線性回歸

線性回歸也被稱為最小二乘回歸，通常是人們在學習預測模型時首選的技術之一。在這種技術中，因變量是連續的，自變量可以是連續的也可以是離散的，回歸線的性質是線性的。

Polynomial Regression多項式回歸

在分析數據的時候，我們會遇到不同的數據分布情況，當數據點呈現帶狀分布的時候我們會選擇線性回歸的方法去擬合，但是如何數據點是一條曲線的時候使用線性回歸的方法去擬合效果就不是那么好了，這個時候我們可以使用多項式回歸的方法。多項式回歸模型就是利用多項式對數據進行擬合得到的回歸模型。

Stepwise Regression逐步回歸

在處理多個自變量時，我們可以使用這種形式的回歸。這種建模技術的目的是使用最少的預測變量數來最大化預測能力。逐步回歸法選擇變量的過程包含兩個基本步驟：一是從回歸模型中剔出經檢驗不顯著的變量，二是引入新變量到回歸模型中，常用的逐步回歸方法有向前法和向后法。

Ridge Regression嶺回歸

嶺回歸是線性回歸的重要改進，增加了誤差容忍度。如果數據集合矩陣存在多重共線性（數學上稱為病態矩陣），那么線性回歸對輸入變量中的噪聲非常的敏感，如果輸入變量x有一個微小的變動，其反應在輸出結果上也會變得非常大，其解會極為不穩定。為了解決這個問題，就有了優化算法——嶺回歸。嶺回歸通過對系數的大小施加懲罰來解決線性回歸的一些問題。

Lasso Regression套索回歸

套索回歸與嶺回歸類似，會對回歸系數的絕對值添加一個罰值。此外，它能降低偏差并提高線性回歸模型的精度。與嶺回歸有一點不同，它在懲罰部分使用的是絕對值，而不是平方值。這導致懲罰（即用以約束估計的絕對值之和）值使一些參數估計結果等于零。使用的懲罰值越大，估計值會越趨近于零。

ElasticNet Regression 彈性網絡回歸

ElasticNet是Lasso和Ridge回歸技術的混合體。嶺回歸是使用二范數（平方項）來對代價函數進行有偏分析。Lasson回歸則是使用一范數（絕對值項）對代價函數進行有偏分析。而ElasticNet是將二者結合，即使用平方項又使用絕對值項。

Bayesian Regression貝葉斯回歸

貝葉斯回歸可以用于在預估階段的參數正則化：正則化參數的選擇不是通過人為的選擇，而是通過手動調節數據值來實現。

Robust Regression穩健回歸

當最小二乘法遇到數據樣本點存在異常點的時候，Robust回歸可用于代替最小二乘法。當然，Robust回歸還可以用于異常點檢測，或者是找出那些對模型影響最大的樣本點。

RandomForestRegressor隨機森林回歸

隨機森林可以應用在分類和回歸問題上。實現這一點，取決于隨機森林的每顆cart樹是分類樹還是回歸樹。如果是回歸樹，則cart樹是回歸樹，采用的原則是最小均方差。

XGBoost回歸

基本所有的機器學習比賽的冠軍方案都使用了XGBoost算法。

SVR支持向量回歸

SVR回歸，就是找到一個回歸平面，讓一個集合的所有數據到該平面的距離最近。 由于數據不可能都在回歸平面上，距離之和還是挺大，因此所有數據到回歸平面的距離可以給定一個容忍值防止過擬合。該參數是經驗參數，需要人工給定。

Decision Tree Regressor決策樹回歸

決策樹模型是運用于分類以及回歸的一種樹結構。決策樹由節點和有向邊組成，一般一棵決策樹包含一個根節點、若干內部節點和若干葉節點。決策樹的決策過程需要從決策樹的根節點開始，待測數據與決策樹中的特征節點進行比較，并按照比較結果選擇選擇下一比較分支，直到葉子節點作為最終的決策結果。

Poisson Regression泊松回歸

泊松回歸用于描述單位時間、單位面積或者單位容積內某事件發現的頻數分布情況，通常用于描述稀有事件（即小概率）事件發生數的分布。

上述的很多模型，我們都可以利用pandas和numpy對數據進行操作，使用matplotlib進行圖像化，使用sklearn進行數據集訓練與模型導入。

#大數據# #數據分析# #回歸#