想要了解xgboost,至少需要了解以下的一些概念:
梯度
, Boosting
, 分类器
, 决策树
, 概率分布
, CART
, 损失函数
, 分裂准则
, 加法模型
, 叶子节点
, 分裂点
, 学习率
, 分类
, 回归
, 初始化
, 泰勒公式
, 贪心法
, 信息增益
, 信息增益比
, 特征
, 特征值
, 直方图算法
, DenseVector
, 凸函数
, 弱学习器
, 强学习器
Gradient Boosting Algorithm 算法参考链接:
- XGBoost: A Scalable Tree Boosting System
- Which algorithm takes the crown: Light GBM vs XGBOOST?
- Learn Gradient Boosting Algorithm for better predictions (with codes in R)
- Getting smart with Machine Learning – AdaBoost and Gradient Boost
- Quick Introduction to Boosting Algorithms in Machine Learning
- Complete Machine Learning Guide to Parameter Tuning in Gradient Boosting (GBM) in Python
- Complete Guide to Parameter Tuning in XGBoost with codes in Python
- XGboost数据比赛实战之调参篇
- 通俗的将Xgboost的原理讲明白
- 决策树 和 决策树源码剖析
- XGBoost 笔记
- XGBoost如何避免过拟合
- XGBoost调参笔记
- xgboost中的数学原理
- xgboost入门与实战
- XGBoost参数调优
- xgboost:一个纯小白的学习历程
- 通俗、有逻辑的写一篇说下Xgboost的原理
- Boosting algorithm: GBM
- LightGBM 调参方法
- Good summary of XGBoost vs CatBoost vs LightGBM
- LightGBM + XGBoost + Catboost
- lightgbm-vs-xgboost-vs-catboost
- Gradient Boosting Decision trees: XGBoost vs LightGBM (and catboost)
- CatBoost vs. Light GBM vs. XGBoost
- CatBoost vs. Light GBM vs. XGBoost 的中文翻译
- 关于lightgbm的安装
- Custom Loss Functions for Gradient Boosting
- machine-learning-challenge-winning-solutions-lightgbm-winned
- LightGBM 如何调参
- xgboost调参
- 为什么负梯度是函数值减小的最快方向
- GBDT原理与Sklearn源码分析-回归篇
- GBDT原理与Sklearn源码分析-分类篇
- GBDT原理与实践-多分类篇
- XGBoost超详细推导,终于有人讲明白了
-
[珍藏版 20道XGBoost面试题](https://mp.weixin.qq.com/s?__biz=MzI1MzY0MzE4Mg==&mid=2247485159&idx=1&sn=d429aac8370ca5127e1e786995d4e8ec&chksm=e9d01626dea79f30043ab80652c4a859760c1ebc0d602e58e13490bf525ad7608a9610495b3d&scene=21#wechat_redirect) - Gradient boosting wiki Page
- xgboost introduction by xgboost-R’s author
- GBDT算法原理以及实例理解 - 非常好