python量化损失函数的简单介绍

从零开始用Python构建神经网络

从零开始用Python构建神经网络

动机：为了更加深入的理解深度学习，我们将使用 python 语言从头搭建一个神经网络，而不是使用像 Tensorflow 那样的封装好的框架。我认为理解神经网络的内部工作原理，对数据科学家来说至关重要。

这篇文章的内容是我的所学，希望也能对你有所帮助。

神经网络是什么?

介绍神经网络的文章大多数都会将它和大脑进行类比。如果你没有深入研究过大脑与神经网络的类比，那么将神经网络解释为一种将给定输入映射为期望输出的数学关系会更容易理解。

神经网络包括以下组成部分

? 一个输入层，x

? 任意数量的隐藏层

? 一个输出层，?

? 每层之间有一组权值和偏置，W and b

? 为隐藏层选择一种激活函数，σ。在教程中我们使用 Sigmoid 激活函数

下图展示了 2 层神经网络的结构(注意：我们在计算网络层数时通常排除输入层)

2 层神经网络的结构

用 Python 可以很容易的构建神经网络类

训练神经网络

这个网络的输出 ? 为：

你可能会注意到，在上面的等式中，输出 ? 是 W 和 b 函数。

因此 W 和 b 的值影响预测的准确率. 所以根据输入数据对 W 和 b 调优的过程就被成为训练神经网络。

每步训练迭代包含以下两个部分:

? 计算预测结果 ?，这一步称为前向传播

? 更新 W 和 b,，这一步成为反向传播

下面的顺序图展示了这个过程：

前向传播

正如我们在上图中看到的，前向传播只是简单的计算。对于一个基本的 2 层网络来说，它的输出是这样的：

我们在 NeuralNetwork 类中增加一个计算前向传播的函数。为了简单起见我们假设偏置 b 为0：

但是我们还需要一个方法来评估预测结果的好坏(即预测值和真实值的误差)。这就要用到损失函数。

损失函数

常用的损失函数有很多种，根据模型的需求来选择。在本教程中，我们使用误差平方和作为损失函数。

误差平方和是求每个预测值和真实值之间的误差再求和，这个误差是他们的差值求平方以便我们观察误差的绝对值。

训练的目标是找到一组 W 和 b，使得损失函数最好小，也即预测值和真实值之间的距离最小。

反向传播

我们已经度量出了预测的误差(损失)，现在需要找到一种方法来传播误差，并以此更新权值和偏置。

为了知道如何适当的调整权值和偏置，我们需要知道损失函数对权值 W 和偏置 b 的导数。

回想微积分中的概念，函数的导数就是函数的斜率。

梯度下降法

如果我们已经求出了导数，我们就可以通过增加或减少导数值来更新权值 W 和偏置 b(参考上图)。这种方式被称为梯度下降法。

但是我们不能直接计算损失函数对权值和偏置的导数，因为在损失函数的等式中并没有显式的包含他们。因此，我们需要运用链式求导发在来帮助计算导数。

链式法则用于计算损失函数对 W 和 b 的导数。注意，为了简单起见。我们只展示了假设网络只有 1 层的偏导数。

这虽然很简陋，但是我们依然能得到想要的结果—损失函数对权值 W 的导数(斜率)，因此我们可以相应的调整权值。

现在我们将反向传播算法的函数添加到 Python 代码中

为了更深入的理解微积分原理和反向传播中的链式求导法则，我强烈推荐 3Blue1Brown 的如下教程：

Youtube：

整合并完成一个实例

既然我们已经有了包括前向传播和反向传播的完整 Python 代码，那么就将其应用到一个例子上看看它是如何工作的吧。

神经网络可以通过学习得到函数的权重。而我们仅靠观察是不太可能得到函数的权重的。

让我们训练神经网络进行 1500 次迭代，看看会发生什么。 注意观察下面每次迭代的损失函数，我们可以清楚地看到损失函数单调递减到最小值。这与我们之前介绍的梯度下降法一致。

让我们看看经过 1500 次迭代后的神经网络的最终预测结果：

经过 1500 次迭代训练后的预测结果

我们成功了!我们应用前向和方向传播算法成功的训练了神经网络并且预测结果收敛于真实值。

注意预测值和真实值之间存在细微的误差是允许的。这样可以防止模型过拟合并且使得神经网络对于未知数据有着更强的泛化能力。

下一步是什么?

幸运的是我们的学习之旅还没有结束，仍然有很多关于神经网络和深度学习的内容需要学习。例如：

? 除了 Sigmoid 以外，还可以用哪些激活函数

? 在训练网络的时候应用学习率

? 在面对图像分类任务的时候使用卷积神经网络

我很快会写更多关于这个主题的内容，敬请期待!

最后的想法

我自己也从零开始写了很多神经网络的代码

虽然可以使用诸如 Tensorflow 和 Keras 这样的深度学习框架方便的搭建深层网络而不需要完全理解其内部工作原理。但是我觉得对于有追求的数据科学家来说，理解内部原理是非常有益的。

这种练习对我自己来说已成成为重要的时间投入，希望也能对你有所帮助

相关问答

Q1: python 离散型数据怎么量化

python 离散型数据量化的方法可以采用变量转换方法来解决，分类数据和连续数据需要参与模型计算，并且通常会转换为数值数据。

当然，某些算法允许这些数据直接参与计算，例如分类算法中的决策树和关联规则。将非数字数据转换为数字数据的最佳方法是将所有类别或有序变量的范围从一列多值形式转换为仅包含真值的多列。可以将True值传递给True，False或0、1。这种符号转换方法有时称为真值转换。

具体代码是：

import pandas as pddata = [.

['yellow', 'S', 10.1, 'class1'].

['red', 'M', 13.5, 'class1'].

['red', 'M', 15.1, 'class2'].

['blue', 'XL', 15.3, 'class2'.

df = pd.DataFrame(.

data,columns=['color', 'size', 'prize', 'class'].

python 离散型数据用连续数据处理的方法是：

1、等宽法：若数据区间为0~20，设置箱子个数为4个，则等宽法会将数据装入4个箱子：[0,5],(5,10],(10,15],(15,20]，并且可以设置每个箱子的名字，如1、2、3、4。

等宽法缺点是分箱结果会受到最值影响。并且需要人为指定箱子个数，比较依赖于经验。分箱结果会直接影响后续分类、聚类的结果。

2、等频法：等频法是指将一组数据分解成n个部分后，每个部分的记录数量是一样多的。等频法常用pandas库中的qcut()函数进行处理。

Q2: 用python怎么做量化投资

《07 Python股票量化投资课程（完结）》百度网盘资源免费下载

链接:

?pwd=zxcv 提取码:zxcv

07 Python股票量化投资课程（完结）|09课后大作业|08第八课资料|07第七课资料|06第六课资料|05第五课资料|04第四课资料|03第三课资料|02第二课资料|01第一课资料|25人工智能与量化投资（下）.mp4|24人工智能与量化投资（上）.mp4|23实盘交易（下）.mp4|22实盘交易（中）.mp4|21实盘交易（上）.mp4  

Q3: OpenCV Python 系列教程4 - OpenCV 图像处理（上）

学习目标：

OpenCV 中有 150 多种色彩空间转化python量化损失函数的方法python量化损失函数，这里只讨论两种：

HSV的色相范围为[0,179]，饱和度范围为[0,255]，值范围为[0,255]。不同的软件使用不同的规模。如果要比较 OpenCV 值和它们，python量化损失函数你需要标准化这些范围。

HSV 和 HLV 解释

运行结果：该段程序的作用是检测蓝色目标，同理可以检测其他颜色的目标

结果中存在一定的噪音，之后的章节将会去掉它

这是物体跟踪中最简单的方法。一旦你学会了等高线的函数，你可以做很多事情，比如找到这个物体的质心，用它来跟踪这个物体，仅仅通过在相机前移动你的手来画图表，还有很多其他有趣的事情。

菜鸟教程 在线 HSV- BGR 转换

比如要找出绿色的 HSV 值，可以使用上面的程序，得到的值取一个上下界。如上面的取下界 [H-10, 100, 100]，上界 [H+10, 255, 255]

或者使用其他工具如 GIMP

学习目标：

对图像进行阈值处理，算是一种最简单的图像分割方法，基于图像与背景之间的灰度差异，此项分割是基于像素级的分割

threshold(src, thresh, maxval, type[, dst]) - retval, dst

计算图像小区域的阈值。所以python量化损失函数我们对同一幅图像的不同区域得到不同的阈值，这给python量化损失函数我们在不同光照下的图像提供了更好的结果。

三个特殊的输入参数和一个输出参数

adaptiveThreshold(src, maxValue, adaptiveMethod, thresholdType, blockSize, C[, dst]) - dst

opencv-threshold-python

OpenCV 图片集

本节原文

学习目标：

OpenCV 提供两种变换函数： cv2.warpAffine 和 cv2.warpPerspective

cv2.resize() 完成缩放

文档说明

运行结果

说明 : cv2.INTER_LINEAR 方法比 cv2.INTER_CUBIC 还慢，好像与官方文档说的不一致？ 有待验证。

速度比较： INTER_CUBIC INTER_NEAREST INTER_LINEAR INTER_AREA INTER_LANCZOS4

改变图像的位置，创建一个 np.float32 类型的变换矩阵，

warpAffine(src, M, dsize[, dst[, flags[, borderMode[, borderValue]]]]) - dst

运行结果：

旋转角度（ ）是通过一个变换矩阵变换的：

OpenCV 提供的是可调旋转中心的缩放旋转，这样你可以在任何你喜欢的位置旋转。修正后的变换矩阵为

这里

OpenCV 提供了 cv2.getRotationMatrix2D 控制

cv2.getRotationMatrix2D(center, angle, scale) → retval

运行结果

cv2.getAffineTransform(src, dst) → retval

函数关系：

\begin{bmatrix} x'_i \ y'_i \end{bmatrix}\begin{bmatrix} x'_i \ y'_i \end{bmatrix} =

其中

运行结果：图上的点便于观察，两图中的红点是相互对应的

透视变换需要一个 3x3 变换矩阵。转换之后直线仍然保持笔直，要找到这个变换矩阵，需要输入图像上的 4 个点和输出图像上的对应点。在这 4 个点中，有 3 个不应该共线。通过 cv2.getPerspectiveTransform 计算得到变换矩阵，得到的矩阵 cv2.warpPerspective 变换得到最终结果。

本节原文

平滑处理（smoothing）也称模糊处理（bluring）,是一种简单且使用频率很高的图像处理方法。平滑处理的用途：常见是用来 减少图像上的噪点或失真 。在涉及到降低图像分辨率时，平滑处理是很好用的方法。

图像滤波：尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。

消除图像中的噪声成分叫做图像的平滑化或滤波操作。信号或图像的能量大部分集中在幅度谱的低频和中频段，在高频段，有用的信息会被噪声淹没。因此一个能降低高频成分幅度的滤波器就能够减弱噪声的影响。

滤波的目的：抽出对象的特征作为图像识别的特征模式；为适应图像处理的要求，消除图像数字化时混入的噪声。

滤波处理的要求：不能损坏图像的轮廓及边缘等重要信息；图像清晰视觉效果好。

平滑滤波是低频增强的空间滤波技术，目的：模糊和消除噪音。

空间域的平滑滤波一般采用简单平均法，即求邻近像元点的平均亮度值。邻域的大小与平滑的效果直接相关，邻域越大平滑效果越好，但是邻域过大，平滑也会使边缘信息的损失的越大，从而使输出图像变得模糊。因此需要选择合适的邻域。

滤波器：一个包含加权系数的窗口，利用滤波器平滑处理图像时，把这个窗口放在图像上，透过这个窗口来看我们得到的图像。

线性滤波器：用于剔除输入信号中不想要的频率或者从许多频率中选择一个想要的频率。

低通滤波器、高通滤波器、带通滤波器、带阻滤波器、全通滤波器、陷波滤波器

boxFilter(src, ddepth, ksize[, dst[, anchor[, normalize[, borderType]]]]) - dst

均值滤波是方框滤波归一化后的特殊情况。归一化就是要把处理的量缩放到一个范围内如 (0,1)，以便统一处理和直观量化。非归一化的方框滤波用于计算每个像素邻近内的积分特性，比如密集光流算法中用到的图像倒数的协方差矩阵。

运行结果：

均值滤波是典型的线性滤波算法，主要方法为邻域平均法，即用一片图像区域的各个像素的均值来代替原图像中的各个像素值。一般需要在图像上对目标像素给出一个模板（内核），该模板包括了其周围的临近像素（比如以目标像素为中心的周围8（3x3-1）个像素，构成一个滤波模板，即 去掉目标像素本身 ）。再用模板中的全体像素的平均值来代替原来像素值。即对待处理的当前像素点（x，y），选择一个模板，该模板由其近邻的若干像素组成，求模板中所有像素的均值，再把该均值赋予当前像素点（x，y），作为处理后图像在该点上的灰度个g（x，y），即个g（x，y）=1/m ∑f（x，y） ，其中m为该模板中包含当前像素在内的像素总个数。

均值滤波本身存在着固有的缺陷，即它不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊，不能很好地去除噪声点。

cv2.blur(src, ksize[, dst[, anchor[, borderType]]]) → dst

结果：

高斯滤波：线性滤波，可以消除高斯噪声，广泛应用于图像处理的减噪过程。高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过 加权平均 后得到。高斯滤波的具体操作是：用一个模板（或称卷积、掩模）扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

高斯滤波有用但是效率不高。

高斯模糊技术生成的图像，其视觉效果就像是经过一个半透明屏幕在观察图像，这与镜头焦外成像效果散景以及普通照明阴影中的效果都明显不同。高斯平滑也用于计算机视觉算法中的预先处理阶段，以增强图像在不同比例大小下的图像效果（参见尺度空间表示以及尺度空间实现）。从数学的角度来看，图像的高斯模糊过程就是图像与正态分布做卷积。由于正态分布又叫作高斯分布，所以这项技术就叫作高斯模糊。

高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器。 高斯平滑滤波器对于抑制服从正态分布的噪声非常有效。

一维零均值高斯函数为: 高斯分布参数 决定了高斯函数的宽度。

高斯噪声的产生

GaussianBlur(src, ksize, sigmaX[, dst[, sigmaY[, borderType]]]) - dst

线性滤波容易构造，并且易于从频率响应的角度来进行分析。

许多情况，使用近邻像素的非线性滤波会得到更好的结果。比如在噪声是散粒噪声而不是高斯噪声，即图像偶尔会出现很大值的时候，用高斯滤波器进行图像模糊时，噪声像素不会被消除，而是转化为更为柔和但仍然可见的散粒。

中值滤波（Median filter）是一种典型的非线性滤波技术，基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，该方法在去除脉冲噪声、椒盐噪声『椒盐噪声又称脉冲噪声，它随机改变一些像素值，是由图像传感器，传输信道，解码处理等产生的黑白相间的亮暗点噪声。椒盐噪声往往由图像切割引起。』的同时又能保留图像边缘细节，

中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点，对于 斑点噪声（speckle noise）和椒盐噪声（salt-and-pepper noise） 来说尤其有用，因为它不依赖于邻域内那些与典型值差别很大的值。中值滤波器在处理连续图像窗函数时与线性滤波器的工作方式类似，但滤波过程却不再是加权运算。

中值滤波在一定的条件下可以克服常见线性滤波器如最小均方滤波、方框滤波器、均值滤波等带来的图像细节模糊，而且对滤除脉冲干扰及图像扫描噪声非常有效，也常用于保护边缘信息, 保存边缘的特性使它在不希望出现边缘模糊的场合也很有用，是非常经典的平滑噪声处理方法。

与均值滤波比较：

说明：中值滤波在一定条件下，可以克服线性滤波器（如均值滤波等）所带来的图像细节模糊，而且对滤除脉冲干扰即图像扫描噪声最为有效。在实际运算过程中并不需要图像的统计特性，也给计算带来不少方便。 但是对一些细节多，特别是线、尖顶等细节多的图像不宜采用中值滤波。

双边滤波（Bilateral filter）是一种非线性的滤波方法，是结合 图像的空间邻近度和像素值相似度 的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。具有简单、非迭代、局部的特点。

双边滤波器的好处是可以做边缘保存（edge preserving），一般过去用的维纳滤波或者高斯滤波去降噪，都会较明显地模糊边缘，对于高频细节的保护效果并不明显。双边滤波器顾名思义比高斯滤波多了一个高斯方差 sigma－d ，它是基于空间分布的高斯滤波函数，所以在边缘附近，离的较远的像素不会太多影响到边缘上的像素值，这样就保证了边缘附近像素值的保存。 但是由于保存了过多的高频信息，对于彩色图像里的高频噪声，双边滤波器不能够干净的滤掉，只能够对于低频信息进行较好的滤波。

运行结果

学习目标:

形态变换是基于图像形状的一些简单操作。它通常在二进制图像上执行。

膨胀与腐蚀实现的功能

侵蚀的基本思想就像土壤侵蚀一样，它会侵蚀前景物体的边界（总是试图保持前景为白色）。那它是做什么的？内核在图像中滑动（如在2D卷积中）。只有当内核下的所有像素都是 1 时，原始图像中的像素（ 1 或 0 ）才会被视为 1 ，否则它将被侵蚀（变为零）

erode(src, kernel[, dst[, anchor[, iterations[, borderType[, borderValue]]]]]) - dst

与腐蚀的操作相反。如果内核下的至少一个像素为“1”，则像素元素为“1”。因此它增加了图像中的白色区域或前景对象的大小增加。通常，在去除噪音的情况下，侵蚀之后是扩张。因为，侵蚀会消除白噪声，但它也会缩小我们的物体。所以我们扩大它。由于噪音消失了，它们不会再回来，但我们的物体区域会增加。它也可用于连接对象的破碎部分

Q4: XGBoost算法思想

一、boosting模式

boosting属于集成学习框架之一，与bagging类似，boosting也不再是用单一的模型来进行预测，而是组合 若干弱学习器 来产生一个 强学习器

boosting：整个训练过程呈阶梯状，弱学习器按照次序逐一进行训练，与bagging不同在于每个弱学习器的训练集，都按照 某种策略进行一定的转化 ，最后对所有弱学习器的预测结果进行 线性综合 来产生最终的预测结果。即：

关于boosting算法比较常见的有： AdaBoost、GBDT 以及本文分析的 XGBoost

二、集成学习模型的偏差和方差

这里我们可以用 期望 这个统计量来描述模型的 偏差

由方差和协方差的基本定义出发：

对于集成学习模型，通过计算弱学习器模型的 期望和方差 ，我们可以得到 模型整体的期望和方差。 而且不论是bagging还是boosting，其 弱学习器都是线性组成的 ，我们设每个弱学习器为 ，总共有 个弱学习器， 对应的权重为 ， 为整个模型

则模型的期望 为：

模型的方差 为：

这里需要用到二项展开公式

带入模型方差展开得

我们再引入2个统计量： 标准差 和相关系数 ，用来代表整体模型的标准差和相关系数，其基本定义为：

将 和 带入模型方差，得

推导至此，我们得到了 集成学习整体模型的期望 和 方差 的数学表达式

集成学习模型的整体偏差和方差的关系可形象的展示为：

接下来我们分别讨论在bagging或boosting算法下模型整体的期望和方差

三、bagging的期望和方差

对于bagging来说，每个弱学习器的权重 都为 ，且每个弱学习器训练的样本都是从原始样本采取 有放回式随机抽样 ，故每个弱学习器的 期望 近似相等 为

则bagging的期望为：

bagging的方差为：

我们也可以看到， 随机森林( Random Forest)采取对 训练集的特征进行随机抽样的策略 ，使得各个弱学习器的 相关性降低 ，从而达到 减少方差 的效果

四、boosting的偏差和方差

对于boosting来说，训练集抽样是 强相关 的，即模型的相关系数 近似等于1

则boosting的期望为：

boosting的方差为：

五、XGBoost的基础模型

XGBoost（Extreme Gradient Boosting）是 GBDT 的一种高效实现，其弱学习器除了可以是 CART回归树 ，也可以是 线性分类器 。这里我们用CART树来当作弱学习器

考虑场景：我们要预测一家人对电子游戏的喜好程度，为此可以构建2颗CART树

第1颗CART树：考虑到年轻和年老相比，年轻更可能喜欢电子游戏，故使用“年龄”作为第1个特征来二分样本集；再考虑到男性和女性相比，男性更喜欢电子游戏，故使用“性别”作为第2个特征来二分子样本集，最后逐一给各人在电子游戏喜好程度上打分

第2颗CART树：考虑到喜欢电子游戏的人每天使用电脑的频率较高，故使用“每天使用电脑的频率”作为特征来二分子样本集，最后逐一给各人在电子游戏喜好程度上打分

对于上述两颗CART树，我们要计算小男孩的预测分数，只需在每颗CART树中找到小男孩落在的树叶位置，将树叶对应的分数累加即可

我们将上述场景数学化

设 是样本 的最终 预测分数 ， 是第i颗树的叶子 打分映射 ，则 预测函数 为

所有树的叶子打分映射将共同构成模型的 函数空间 ，即

（PS：注意这里不再是模型的 参数空间 ，而是 函数空间 ）

六、XGBoost的目标函数

我们继续定义出模型的 损失函数 为

接下来我们再定义出模型的复杂度为

我们对上述模型的损失函数和复杂度进行线性组合，便得到了XGBoost的目标函数

显然，XGBoost的目标函数加入了 正则项 ，即： 用 表示模型的偏度（期望），用 表示模型的复杂度（方差）

七、优化目标函数

从数学角度看，目标函数 的定义是一个 泛函 ，优化目标函数等价于 泛函最优化问题 ，这使得我们很难进行优化

（PS： 的自变量包含K个函数 ，即 是 函数的函数—泛函 ）

我们将上述思想进行数学化，即

加入第0颗树，当前模型的预测结果为

加入第1颗树，当前模型的预测结果为

加入第2颗树，当前模型的预测结果为

根据数学归纳法，加入第t颗树，即第t次迭代，当前模型的预测结果为

将上述迭代结果带入目标函数，则目标函数改为 迭代版本 如下

下面我们需要对目标函数进行一些 数学上的近似处理

我们知道二阶泰勒公式的迭代形式为

这里我们将目标函数 类比 二阶泰勒公式，即

且定义 和 来 类比 二阶泰勒公式中的 一阶导数和二阶导数 ，即

有了上述近似类比，我们将目标函数在 处进行 二阶泰勒展开 ，得

我们继续优化目标函数

由于目标函数 只受到基学习器 的影响 ，上一次的误差 是常数项， 对本次迭代没有影响 （常量微分为0），于是我们可以 删除掉常数项 ，即

至此我们得到了迭代过程下，目标函数的 近似表达式 ，继续优化之前，我们需要先讨论每棵树的函数表达式

八、树的函数表达式的拆分

我们将第t颗树的函数表达式 ，拆分成 树结构部分q 和 叶子权重部分w ，即

如上图，树的物理意义为：

我们将其数学化，即定义：

至此，我们可以将树的函数表达式 写为

九、模型的复杂度定义

紧接着我们定义出模型的复杂度

我们用叶子节点的个数 和每片叶子的权重 的L2范数来共同描述模型的复杂度，即

其中 和 是超参数， 用来 收缩叶子个数 ， 控制叶子权重分数不会过 大，二者同时 防止模型过拟合

十、继续优化目标函数

有了树的函数表达式 的拆分和模型的复杂度 ，我们继续优化目标函数

将二者带入目标函数，得

下面需要用到一个 数学技巧 ，仔细观察上式

上式中，红色部分表示： 对整个样本集合的遍历 ；蓝色部分表示： 对所有叶节点的遍历

为了将 二者的累加形式统一 ，我们有如下结论

因此我们定义 表示树中 第j个叶子中样本的集合 ，即

将 带入目标函数，我们就可以统一两个 的物理意义和数学形式，即

紧接着我们定义 和 来简化目标函数

带入则目标函数最终可以化简为

至此，我们一步步推导出了XGBoost目标函数的最终表达式，接下来就可以求解其极值

十一、求解目标函数极值

此时弱学习器—树已经构造完成，即 树结构 确定 ，为了使得目标函数达到最小值，我们令 对每个叶子的偏导数为0 ，即

求解上述偏导数，便可解出 每个叶子的最优权重 为：

将其带入目标函数，便得到 模型的最小损失 为：

至此，我们完成了 XGBoost对目标函数的最优化过程。且从本质上讲，这就是转化为一个二次函数最优化问题

十二、树节点分裂算法

下面我们需要关心XGBoost的基学习器—树到底长什么样子？

那么 一个节点应该怎么分裂？ 就成为了接下来我们要探讨的关键

我们采取 贪心算法 来分裂树节点

关于Gain增益的计算，我们使用当前树的最小损失，用节点 分裂前 的损失值减去 分裂后 的损失值，作为按当前特征和候选点分裂的增益量化

按照贪心算法构建树，有下面两种构建方案

这里我们选取方案二进行建树剪枝

十三、XGBoost的算法步骤

从上面步骤可以看到，关键点是 树的构造和剪枝

十四、案例演示

下面我们用原生python来实现myXGBoost模型（不考虑并行计算）

训练样本集为

首先构造树节点类和方法

下面构造树模型类和方法

python量化损失函数的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于、python量化损失函数的信息别忘了在本站进行查找喔。