集成学习：三大流派与实战作用（下篇）

上篇我们说了集成学习就是让一堆“臭皮匠”组团干掉“诸葛亮”。但怎么组团很有讲究。不同组团方式演化出了三大主流类型。我们直接用大白话拆开。类型一Bagging —— “独立投票少数服从多数”全称Bootstrap Aggregating自助聚合。代表作随机森林。怎么玩假设你有1000条数据。Bagging会做这样几件事有放回地随机抽500条允许重复训练第一个模型再抽一次训练第二个模型重复N次比如100次。最后预测的时候让这100个模型各自投票分类问题或者取平均值回归问题。关键特点每个模型都是独立并行训练的互不干扰。因为它们用的数据略有不同随机抽样的结果所以模型的“观点”自然就有了差异。它解决了什么问题专治高方差——也就是模型太敏感换一小撮数据结果就乱跳。决策树就是典型的高方差模型Bagging 能把它变得很稳。通俗比喻就像搞民意调查你问了100个随机抽样的路人小组最后汇总大家的看法。单个人可能随口乱说但100个小组的平均结果就很接近真相。类型二Boosting —— “后一个人专盯前一个人的错”全称提升方法。代表作AdaBoost、GBDT、XGBoost、LightGBM。怎么玩跟Bagging完全不同。Boosting是串行的先训练一个弱模型比如一棵很浅的树。看看它在哪些样本上预测错了然后加大这些错误样本的权重。第二个模型训练时重点“照顾”这些被前一个模型搞错的样本。重复N轮最后把所有这些模型加权求和——表现好的模型权重更大表现差的权重小。关键特点后面的模型不断纠正前面的错误。所以Boosting能逐渐逼近数据的真实边界甚至能把一堆“勉强比随机好一点”的极弱模型堆成一个神级模型。它解决了什么问题专治高偏差——也就是模型太简单根本学不到数据的复杂关系欠拟合。Boosting能把一个“弱智”模型硬生生提成“学霸”。通俗比喻就像你在刷题。先做一套卷子错题本记下来下一轮专门刷错题又错了就再强化几轮下来薄弱点全被补上了。注意Boosting 比 Bagging 更容易过拟合如果你做太多轮但它往往能拿到更高的精度上限。这也是为什么 XGBoost 在竞赛里那么猛。类型三Stacking —— “再请一个裁判”全称Stacked Generalization堆叠泛化。代表作在各种比赛里冠军方案常会用 Stacking 把多个不同种类的模型“焊”在一起。怎么玩Stacking 分两层第一层训练一堆不同类型的基模型比如一个随机森林、一个SVM、一个神经网络。它们各自对训练数据做出预测。第二层把这些模型的预测结果作为新的“特征”再训练一个元模型meta-learner比如逻辑回归或另一个树模型。元模型负责学习什么时候该相信随机森林什么时候该相信SVM。关键特点不要求基模型是同一类甚至不要求它们都是“弱模型”。你可以直接把三个很牛的模型叠在一起让元模型学会“取长补短”。它解决了什么问题当你手头有好几个不同类型、各自表现都不错的模型你不知道该选哪一个。Stacking 让你全都要并且自动学习一个最优的组合策略而不是简单投票或平均。通俗比喻就像公司做决策。财务部、技术部、销售部分别给出意见老板元模型根据历史经验决定这次更偏听谁的意见。集成学习到底能给你带来什么聊完类型我们落地到实际作用。不管你是做数据分析还是搞业务模型集成学习能在四个方面实打实地帮到你精度更高这是最直接的。在大多数数据集上一个简单的集成比如随机森林往往比单棵决策树准确率高出5%~10%。更鲁棒不怕异常值单个模型可能因为一个离群点就崩了。Bagging类集成会随机抽样异常值很难同时出现在所有子模型里因此整体抗干扰能力强。不容易过拟合尤其是 Bagging通过平均降低了方差。你基本不用担心“训练集99分测试集60分”这种惨案。帮你发现哪些特征更重要很多集成模型如随机森林、XGBoost会输出特征重要性排名你可以直接知道“年龄比收入对预测结果的影响大三倍”。这对解释模型很有帮助。那集成学习有没有缺点当然有我不是来吹神的。计算成本高训练100棵决策树肯定比训练1棵慢得多。虽然可以并行但资源消耗是实打实的。可解释性变差单棵决策树你可以画出路径但随机森林里100棵树一平均你还怎么跟老板解释“为什么这个人被拒绝了”这是工业界落地时的一个痛点。收益递减从1棵树加到10棵树提升明显从100棵加到200棵可能只涨0.1%的精度但训练时间翻倍。所以要不要用集成学习取决于你的场景精度优先、不差算力、解释性可以妥协 → 上集成。必须解释清楚、数据量极小、资源受限 → 先用简单模型。集成学习就是别指望一个完美模型而是用一堆不完美的模型通过合理的合作机制得到比任何一个都强的结果。Bagging 稳Boosting 准Stacking 狠——选哪个看你手里是什么牌以及你想打什么局。