从贝叶斯到深度学习及各自优缺点

成方法是由多个较弱的模型集成模型组，其中的模型可以单独进行训练，并且它们的预测能以某种方式结合起来去做出一个总体预测。

该算法主要的问题是要找出哪些较弱的模型可以结合起来，以及结合的方法。这是一个非常强大的技术集，因此广受欢迎。

•  Boosting
•  Bootstrapped Aggregation（Bagging）
•  AdaBoost
•  层叠泛化（Stacked Generalization）（blending）
•  梯度推进机（Gradient Boosting Machines，GBM）
•  梯度提升回归树（Gradient Boosted Regression Trees，GBRT）
•  随机森林（Random Forest）

优点：

  当先最先进的预测几乎都使用了算法集成。它比使用单个模型预测出来的结果要精确的多

缺点：

•  需要大量的维护工作

决策树算法

 

回归是用于估计两种变量之间关系的统计过程。当用于分析因变量和一个 多个自变量之间的关系时，该算法能提供很多建模和分析多个变量的技巧。具体一点说，回归分析可以帮助我们理解当任意一个自变量变化，另一个自变量不变时，因变量变化的典型值。最常见的是，回归分析能在给定自变量的条件下估计出因变量的条件期望。

回归算法是统计学中的主要算法，它已被纳入统计机器学习。

例子：

•  普通最小二乘回归（Ordinary Least Squares Regression，OLSR）
•  线性回归（Linear Regression）
•  逻辑回归（Logistic Regression）
•  逐步回归（Stepwise Regression）
•  多元自适应回归样条（Multivariate Adaptive Regression Splines，MARS）
•  本地散点平滑估计（Locally Estimated Scatterplot Smoothing，LOESS）

优点：

•  直接、快速
•  知名度高

缺点：

•  要求严格的假设
•  需要处理异常值

人工神经网络


 

（编辑：宣城站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!