机器学习算法优缺点对比及选择（汇总篇）

逻辑回归属于判别式模型，同时伴有很多模型正则化的方法（L0， L1，L2，etc），而且你不必像在用朴素贝叶斯那样担心你的特征是否相关。与决策树、SVM相比，你还会得到一个不错的概率解释，你甚至可以轻松地利用新数据来更新模型（使用在线梯度下降算法-online gradient descent）。如果你需要一个概率架构（比如，简单地调节分类阈值，指明不确定性，或者是要获得置信区间），或者你希望以后将更多的训练数据快速整合到模型中去，那么使用它吧。

Sigmoid函数：表达式如下:

优点：

1. 实现简单，广泛的应用于工业问题上；

2. 分类时计算量非常小，速度很快，存储资源低；

3. 便利的观测样本概率分数；

4. 对逻辑回归而言，多重共线性并不是问题，它可以结合L2正则化来解决该问题；

5. 计算代价不高，易于理解和实现。

缺点：

1. 当特征空间很大时，逻辑回归的性能不是很好；

2. 容易欠拟合，一般准确度不太高；

3. 不能很好地处理大量多类特征或变量；

4. 只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分；

5. 对于非线性特征，需要进行转换。

logistic回归应用领域：

1. 用于二分类领域，可以得出概率值，适用于根据分类概率排名的领域，如搜索排名等；

2. Logistic回归的扩展softmax可以应用于多分类领域，如手写字识别等；

3. 信用评估；

4. 测量市场营销的成功度；

5. 预测某个产品的收益；

6. 特定的某天是否会发生地震。

3.3 线性回归

线性回归是用于回归的，它不像Logistic回归那样用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化，当然也可以用normal equation直接求得参数的解，结果为：

而在LWLR（局部加权线性回归）中，参数的计算表达式为:

由此可见LWLR与LR不同，LWLR是一个非参数模型，因为每次进行回归计算都要遍历训练样本至少一次。

优点： 实现简单，计算简单。

缺点： 不能拟合非线性数据。

3.4 最近邻算法——KNN

KNN即最近邻算法，其主要过程为：

1. 计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；

2. 对上面所有的距离值进行排序(升序)；

3. 选前k个最小距离的样本；

4. 根据这k个样本的标签进行投票，得到最后的分类类别。

（编辑：宿州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!