1.10. 决策树
7fendouai 发布于 2020-03-04
1.10. 决策树 决策树 (DTs) 是一种用于分类和回归的非参监督学习方法。其目的是通过从数据特征中学习出简单的决策规则,来创建一个用于预测目标变量值的模型。 例如,在下面的示例中,决策树从数据中学习使用一组if-then-else决策规则来近似正弦曲线。决策树越深,决策规则...
阅读(1179)赞 (0)
fendouai 发布于 2020-03-04
1.10. 决策树 决策树 (DTs) 是一种用于分类和回归的非参监督学习方法。其目的是通过从数据特征中学习出简单的决策规则,来创建一个用于预测目标变量值的模型。 例如,在下面的示例中,决策树从数据中学习使用一组if-then-else决策规则来近似正弦曲线。决策树越深,决策规则...
阅读(1179)赞 (0)
fendouai 发布于 2020-03-04
1.14. 半监督学习 半监督学习是指在您的训练数据中,一些样本没有标记的情况。sklearn.semi_supervised 中的半监督估计器能够利用这些额外的未标记数据来更好地捕捉底层数据分布的形状,并更好地推广到新样本。当我们有少量的标记点和大量的未标记点时,这些算法可以很...
阅读(933)赞 (0)
fendouai 发布于 2020-03-04
1.13. 特征选择(Feature selection) sklearn.feature_selection模块中的类可用于样本集的特征选择/降维,既可以提高估计器的准确率,又可以提高估计器在超高维数据集上的性能。 1.13.1. 去除方差比较低的特征 VarianceThre...
阅读(836)赞 (0)
fendouai 发布于 2020-03-04
1.8. 交叉分解(Cross decomposition) 交叉分解模块包含两个主要的算法系列:偏最小二乘法(PLS)(the partial least squares)和典型相关分析(CCA)(the canonical correlation analysis). 这些算...
阅读(809)赞 (0)
fendouai 发布于 2020-03-04
1.16. 概率校准(Probability calibration) 在进行分类时,我们不仅想要预测出类的标签,而且还要获得对应标签的概率。这个概率给了我们一些关于预测的信心。有些模型可以给出类的概率估计,有些甚至不支持概率预测(probability prediction)。...
阅读(997)赞 (0)
fendouai 发布于 2020-03-04
1.5. 随机梯度下降(Stochastic Gradient Descent) 随机梯度下降法(SGD)是一种简单但非常有效的方法,主要用于凸损失函数下线性分类器的判别式学习(例如(线性)支持向量机和Logistic回归)。尽管SGD在机器学习社区中已经存在很长时间了,但最近在...
阅读(612)赞 (0)
fendouai 发布于 2020-03-04
1.15. 等式回归 IsotonicRegression类将非递减函数拟合到数据。 它解决了以下问题: 最小化 \sum_i w_i (y_i – \hat{y}_i)^2 服从于 \hat{y}_{min} = \hat{y}_1 \le \hat{y}_2 ...
阅读(672)赞 (0)
fendouai 发布于 2020-03-04
1.11. 集成学习方法(Ensemble methods) 集成方法的目标是把使用多个给定学习算法构建的基本估计器的预测结果结合起来,从而获得比单个基本估计器更好的泛化能力/鲁棒性。 集成学习方法分通常分为两种: 在平均方法(averaging methods)中,驱动原则是首...
阅读(933)赞 (0)
fendouai 发布于 2020-03-04
1.1. 线性模型 以下是一组用于回归的方法,其中目标值被认为是输入变量的线性组合。用数学符号表示,假设 \hat{y} 是预测值,则有 \hat{y}(w, x) = w_0 + w_1 x_1 + … + w_p x_p 在整个模块中,我们把向量w=(w1,...
阅读(1005)赞 (0)
fendouai 发布于 2020-03-04
选择合适的估计器(estimator) 解决机器学习问题最困难的部分通常是为该问题找到合适的估计器(estimator)。 不同的估计器(estimator)适合于不同类型的数据和问题。 下面的流程图旨在为用户提供一些粗略的指导,指导他们如何根据问题选择相关的估计器(estima...
阅读(620)赞 (0)