北京 网站建设 SEO,WordPress与dz用户恭喜,温州做网站建设公司哪家好,电销客户数据怎么买分类算法之逻辑回归逻辑回归#xff08;Logistic Regression#xff09;#xff0c;简称LR。它的特点是能够是我们的特征输入集合转化为0和1这两类的概率。一般来说#xff0c;回归不用在分类问题上#xff0c;因为回归是连续型模型#xff0c;而且受噪声影响比较大。如果… 分类算法之逻辑回归逻辑回归Logistic Regression简称LR。它的特点是能够是我们的特征输入集合转化为0和1这两类的概率。一般来说回归不用在分类问题上因为回归是连续型模型而且受噪声影响比较大。如果非要应用进入可以使用逻辑回归。了解过线性回归之后再来看逻辑回归可以更好的理解。优点计算代价不高易于理解和实现缺点容易欠拟合分类精度不高适用数据数值型和标称型逻辑回归对于回归问题后面会介绍Logistic回归本质上是线性回归只是在特征到结果的映射中加入了一层函数映射即先把特征线性求和然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0和1上。Logistic回归用来分类0/1问题也就是预测结果属于0或者1的二值分类问题映射函数为$$g\left({z}\right){}\frac{1}{1e^-z}$$其中$$z{}\theta{0}\theta{1}{x{1}}\theta{2}{x_{2}}{...}$$映射出来的效果如下如sklearn.linear_model.LogisticRegression逻辑回归类class sklearn.linear_model.LogisticRegression(penaltyl2, dualFalse, tol0.0001, C1.0, fit_interceptTrue, intercept_scaling1, class_weightNone, random_stateNone, solverliblinear, max_iter100, multi_classovr, verbose0, warm_startFalse, n_jobs1):param C: float默认值1.0:param penalty: 特征选择的方式:param tol: 公差停止标准
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
LR LogisticRegression(C1.0, penaltyl1, tol0.01)
X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.33, random_state42)
LR.fit(X_train,y_train)
LR.predict(X_test)
LR.score(X_test,y_test)
0.96464646464646464
# c100.0
0.96801346801346799
属性coef_决策功能的特征系数Cs_数组C即用于交叉验证的正则化参数值的倒数特点分析线性分类器可以说是最为基本和常用的机器学习模型。尽管其受限于数据特征与分类目标之间的线性假设我们仍然可以在科学研究与工程实践中把线性分类器的表现性能作为基准。 逻辑回归算法案例分析良恶性乳腺癌肿瘤预测原始数据的下载地址为https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/数据预处理import pandas as pd
import numpy as np# 根据官方数据构建类别
column_names [Sample code number,Clump Thickness,Uniformity of Cell Size,Uniformity of Cell Shape,Marginal Adhesion,Single Epithelial Cell Size,Bare Nuclei,Bland Chromatin,Normal Nucleoli,Mitoses,Class],data pd.read_csv(https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/,names column_names)# 将替换成标准缺失值表示
data data.replace(to_replace?,value np.nan)# 丢弃带有缺失值的数据只要一个维度有缺失
data data.dropna(howany)data.shape
处理的缺失值后的样本共有683条特征包括细胞厚度、细胞大小、形状等九个维度准备训练测试数据from sklearn.cross_validation import train_test_splitX_train,X_test,y_train,y_test train_test_split(data[column_names[1:10]],data[column_names[10]],test_size0.25,random_state42)# 查看训练和测试样本的数量和类别分布
y_train.value_counts()y_test.value_counts()
使用逻辑回归进行良恶性肿瘤预测任务from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression# 标准化数据保证每个维度的特征数据方差为1均值为0。使得预测结果不会被某些维度过大的特征值而主导
ss StandardScaler()X_train ss.fit_transform(X_train)
X_test ss.transform(X_test)# 初始化 LogisticRegressionlr LogisticRegression(C1.0, penaltyl1, tol0.01)# 跳用LogisticRegression中的fit函数模块来训练模型参数
lr.fit(X_train,y_train)lr_y_predict lr.predict(X_test)
性能分析from sklearn.metrics import classification_report# 利用逻辑斯蒂回归自带的评分函数score获得模型在测试集上的准确定结果
print 精确率为,lr.score(X_test,y_test)print classification_report(y_test,lr_y_predict,target_names [Benign,Maligant])
