python中的线性回归
对于统计模型来说，最简单也最经典的模型要数线性回归模型，它可以满足统计建模的所有标准流程，并且适用范围也非常广。R里面是使用lm函数来做回归，而在python里面有几个包都提供了这一功能，首先介绍sklearn包中的回归函数，然后介绍statsmodels包中的回归函数。前者适合于机器学习中的预测，不需要太多中间结果的观察。后者适合于分析，需要对中间结果，例如系数，残差以及效果做判断的时候使用。
- 第一步：加载各种包
In [228]:
%pylabinline
importpandasaspd
importmatplotlib.pylabasply
importstatsmodels.apiassm
fromsklearn.linear_modelimportLinearRegression
fromsklearn.metricsimportmean_squared_error
importstatsmodels.formula.apiassm
- 第二步：读取数据并画图
In [222]:
df=pd.read_csv('iris.csv')
lmdf=df[['Petal_Length','Petal_Width']]
lmdf.plot(kind='scatter',x=0,y=1)
Out[222]:
- 第三步：使用sklearn包中的函数进行回归
In [230]:
# 建立回归对象
linear_sk=LinearRegression()
X=lmdf[['Petal_Length']]
y=lmdf['Petal_Width']
linear_sk.fit(X,y)
linear_fit.intercept_,linear_fit.coef_# coef
Out[230]:
In [226]:
linear_fit.score(X,y)# R2
Out[226]:
In [214]:
yhat=linear_fit.predict(X=lmdf[['Petal_Length']])
mean_squared_error(lmdf['Petal_Width'],yhat)#MSE
Out[214]:
- 第四步：观察回归效果
In [196]:
plt.scatter(lmdf['Petal_Length'],lmdf['Petal_Width'])
plt.plot(lmdf['Petal_Length'],yhat)
Out[196]:
- 使用statmodels包的过程和结果，可以使用和R类似的公式实施
In [229]:
linear_model=sm.ols(formula='Petal_Width ~ Petal_Length',data=lmdf)
results=linear_model.fit()
results.summary()
Out[229]: