Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.
1 | $ hexo new "My New Post" |
More info: Writing
1 | $ hexo server |
More info: Server
1 | $ hexo generate |
More info: Generating
1 | $ hexo deploy |
More info: Deployment
本文介绍LightGBM的一些特性和并行实现方法
xgboost.XGBClassifier注意: 这里优化目标也可以用牛顿法
参考:https://www.cnblogs.com/ModifyRong/p/7739955.html
本文主要介绍XGBoost和其他传统GBDT的比较的优劣
XGBoost又叫(Newton Boosting Tree)
参考博客: https://www.cnblogs.com/massquantity/p/9794480.html
XGBoost损失函数是二阶泰勒展开(与牛顿法对应),GBDT是一阶泰勒展开(与梯度下降法对应)
XGBoost加了正则项 ，普通的GBDT没有,所以XGBoost学出来的模型更简单,能防止过拟合,提高模型的泛化性能
XGBoost Shrinkage(缩减)
eta \(\eta\))结点分裂的增益计算公式不同
sklearn.ensemble.GradientBoostingClassifier在分裂结点时可以选择三种方式:friedman_mse(默认), mean squared error with improvement score by Friedmanmse: mean squared errormae: mean absolute errorXGBoost支持自定义的损失函数 ，支持一阶和二阶可导就行
sklearn.ensemble.GradientBoostingClassifier的损失函数是定义好的, 不能自己定义, 详细如下源码1 | LOSS_FUNCTIONS = {'ls': LeastSquaresError, |
XGBoost 借鉴了随机森林的做法，支持列采样 ，不仅能降低过拟合，还能减少计算量，这也是 XGBoost 异于传统 GBDT 的一个特性
XGBoost 有缺失值自动处理 ， 在计算分裂增益时不会考虑带有缺失值的样本，这样就减少了时间开销,在分裂点确定了之后，将带有缺失值的样本分别放在左子树和右子树，比较两者分裂增益，选择增益较大的那一边作为默认分裂方向
并行化处理 ：由于 Boosting 本身的特性，传统 GBDT 无法像随机森林那样树与树之间的并行化
剪枝策略不同
基分类器的选择不同:
booster[default='gbtree'],可选为booster=gblinear分桶策略算法不同
注意这里是
而GBDT是不能并行的，原因是：https://www.136.la/shida/show-187480.html
GBDT为什么不能像XGBoost一样自定义损失函数?
sklearn.ensemble.GradientBoostingClassifier的源码发现, 确实不支持自定义的损失函数模型直接调用fit函数无法传入自定义的损失函数, 需要在模型开始定义的时候传入或者使用xgb.train函数调用
使用方法1:
1 | from xgboost import XGBClassifier |
使用方法2:
1 | import xgboost as xgb |
也叫二叉查找树
也叫平衡二叉查找树
[待更新]
C++和Java等语言都有++和–操作,为什么以方便自居的Python却没有这种操作呢?
1 | a = 1 |
i++修改内存中对象本身,数值增加1,而Python不能修改对象本身本文介绍Python中优先队列的用法
queue并不能算是Python标准库,所以在LeetCode等OJ环境中不能使用, 想要使用优先队列的话可以使用Python的标准库heapqheapq的使用请参考 Python——heapq模块-最大堆最小堆1 | from Queue import PriorityQueue |
queue包名已经弃用,测试发现本地Python2.7环境可以用,但是LeetCode线上环境不能用Queue1 | from Queue import PriorityQueue |
不能使用not pq这样的语句判断优先队列是否收敛,他不是普通的内嵌对象(list,str等是内嵌对象),除非pq == None否则,双端队列对象永远为not pq == False
下面用法最优:
1 | while pq.qsize(): |
PriorityQueue中默认递增排序(这一点与Python中的sorted函数和sort()函数一样),每次get(),移除并返回最小的对象
PriorityQueue中,可以同时添加不同类别的对象
PriorityQueue会将对象首先按照类别排序,然后各个类别内部按照不同数值排序
若传入对象是可以直接比较大小的类型即可直接传入,包括tuple, list, str, int(long)等类型
1 | ls = [(1, 'b'), (1, 'a'), (2, 'a'), [1, 'a'], [1, 'b'], [2, 'a'], '1a', '1b', '2a', 1, 2, 3, None] |
在做算法题时,没必要的情况下不建议使用
在做工程时建议使用这种方式
1 | import Queue |
注意__lt__函数中是小于号,说明递增排序,大于号,说明递减排序
PriorityQueue对象不是普通Python内嵌对象,不能使用Python内嵌的len函数
Python的list有很多强大的功能,有些比较罕见的操作可能很有用,需要我们记住
1 | l = [1, 2, 3] |
1 | l = [1, 2, 2, 3, 4] |
1 | l = [1, 2, 2, 3, 4, 5] |
本文介绍Python中双端队列(double-ended queue, 简称为deque)的用法
1
2
from collections import deque
import collections
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
import collections
dq = collections.deque()
dq.append(3)
dq.append(4)
dq.append(1)
dq.appendleft(9)
dq.appendleft(10)
print dq
print dq.pop()
print dq
print dq.popleft()
print dq
while len(dq):
print dq.pop()
# # output:
# deque([10, 9, 3, 4, 1])
# 1
# deque([10, 9, 3, 4])
# 10
# deque([9, 3, 4])
# 4
# 3
# 9
qsize()函数,但是可以像普通队列一样使用Python内嵌的len函数pip install . 命令pip install . 命令时，Python 包管理工具 pip 会根据当前目录中的 setup.py 文件来安装包setup.py (setup.py 的详细示例见附录)：pip 首先会查找并解析当前目录中的 setup.py 文件install_requires、extras_require 等）pip 会使用 setuptools 或 distutils 来构建包sdist）或一个二进制分发包（Binary Distribution，简称 wheel）pip 会根据 setup.py 中的 install_requires 列表安装包的核心依赖pip install .[dev]），pip 会安装对应的 extras_require 可选依赖extras_require 中的可选依赖pip 会将构建好的包安装到Python环境的 site-packages 目录中setup.py 中设置了 include_package_data=True 或指定了 package_data，这些数据文件也会被安装setup.py 中定义了 entry_points，对应的命令行工具会被安装并注册packages 或 find_packages() 指定的包和模块package_data 或 include_package_data 指定的额外数据文件setup.py 文件是 Python 项目中用于定义包的元数据、依赖关系及其他安装相关信息的脚本setup.py 文件主要通过 setuptools 或 distutils 库来实现包的配置和分发setup.py 文件基本结构示例： 1 | from setuptools import setup, find_packages |
name ： 包的名称version ： 包的版本号，通常遵循语义版本规范（如 MAJOR.MINOR.PATCH）author 和 author_email ： 作者的姓名和联系邮箱description 和 long_description ： 包的简短和详细描述url ： 项目的主页或代码仓库地址packages ： 指定需要包含的包列表，通常使用 find_packages() 自动发现package_data ： 指定需要包含的非代码文件（如数据文件、模板等）install_requires ： 安装包时需要满足的依赖列表extras_require ： 可选依赖，按功能分组（如开发依赖、测试依赖）python_requires ： 指定包支持的Python版本范围classifiers ： 用于描述包的特性和分类，帮助用户和工具识别包的适用性entry_points ： 定义包提供的命令行工具及其入口函数include_package_data ： 是否包含包内的额外数据文件zip_safe ： 指定包是否可以安全地打包为zip文件setup.py 中的 extras_require 使用在 setup.py 中定义的 extras_require 提供了一种机制，可以按需安装额外的依赖项
extras_require 允许定义一些可选的依赖组，比如开发依赖、测试依赖等
举例来说，前面附录小节的示例中 extras_require 中定义了一个名为 “dev” 的组和对应的依赖
默认情况下 ，安装包时不会自动安装 extras_require 中定义的可选依赖项
pip install . 或 pip install package_name 安装包即可install_requires 中定义的核心依赖会被安装安装可选依赖，以 安装 “dev” 组的可选依赖 为例：
使用 pip 安装时，可以通过在包名后加上 [dev] 来指定安装这些可选依赖
1 | pip install .[dev] |
如果包已经发布到PyPI或其他包管理平台，可以使用以下命令：
1 | pip install package_name[dev] |