python凸函数最值 python凸优化

你好，请问凸函数是怎么样的一个概念？

答:凸函数指:函数图像在某一区间内是上凸的。

于是就称:这个函数是这个区间上的凸函数。

事实上，对于二阶可导的函数而言，当函数的二阶导数小于零对应的区间，称之为这个函数的凸区间。

也可以说:函数是这些区间上的凸函数。

供参考，请笑纳。

相关问答

Q1: 三分法求凸函数的极值

求凸函数的极值是一个常见的问题，常见的方法如梯度下降法，牛顿法等，今天我们介绍一种三分法来求一个凸函数的极值问题。

对于如下图的一个凸函数$f(x),x\in [left,right]$,其中lm和rm分别为区间[left,right]的三等分点，我们发现如果f(lm)f(rm)时，最值的横坐标x一定在[lm,right]的区间内。

利用这个性质，我们就可以在缩小区间的同时向目标点逼近，从而得到极值。举一个例子，如下图在直角坐标系中有一条抛物线y=ax^2+bx+c和一个点P(x,y)，求点P到抛物线的最短距离d，其中-200≤a,b,c,x,y≤200。我们另pivot代表抛物线的对称抽，可以发现当Xpivot，我们可以取left = pivot,right = inf, 反之left = -inf , right = pivot, 其距离恰好满足凸形函数。而我们要求的最短距离d，正好就是这个凸形函数的极值。

望采纳，谢谢。

Q2: 凸函数一定有最大值吗

如果函数 在区间 上是凸函数，那么对于区间 内的任意 ， ，…， ，都有 .若 在区间 上是凸函数，那么在 中， 的最大值是________________. 由新定义知

Q3: 凸函数最小值一定在两端吗为什么

不是，在中间。凸函数只有一个极小值，也就是最小值，没有局部的极小值，凸函数图像的上方区域，一定是凸集，凸函数最小值不是在两端，在中间。

Q4: 凸函数有最小值还是最大值

. 紧集上的连续严格凸函数是有唯一极值点的。可以用反证法证明，假如x1, x2都是极值点，那么因为严格凸

与x1,x2是极值点矛盾。证毕。2. 开集上的严格凸函数不一定有极值点。比如

通过求二阶导可以验证其在(-∞,0]是凸的，但是不存在极值。3. 有界集上的连续可微函数是一定能通过梯度下降法找到极值点的，因为有如下定理（见, Page 38)："设pk是下降方向（不一定是梯度），ak是步长并满足Wolfe条件，设目标函数f在Rn上有界，且在开集N上连续可微，N是包含{x: f(x)\u0026lt;=f(x0), x0是初始点}的集合，假设▽f在N上Lipschitz连续，那么有"

其中θk是下降方向pk与-▽f的夹角。通过这条定理可以证明，梯度下降法和牛顿法，逆牛顿法都是收敛的。(1) 令pk = -▽f 可推出

，故梯度下降法收敛(2) 令

可推出

，故牛顿法收敛。(3) 令

，其中Bk是对称矩阵，可推出 【多元连续严格凸函数是否存在唯一极值点】

，故拟牛顿法收敛。4. 理论上步长ak应该是计算出来的，在梯度下降法实际应用中通常都是把步长选取一个较小的ak(取大了会震荡)，是一个折衷的办法，但是实际效果还不错。参考文献 Numerical Optimization 2ed. Chapter 3.

■网友的回复

看到这么多中文数学术语吓到了……如果这个优化问题定义在凸集合上的话：strictly convexity（严格凸性，感谢 @netfish 指出和strongly convex的区别）保证了函数一定有唯一的极值点，因为如果函数有两个极值点a和b都在集合内部，那线段上的所有点函数值都是f(a)，也就是这条线段上函数的曲率为0，与严格凸性的定义（曲率/二阶导处处非负）相悖。即使最优解在集合边界也不会出现多个解，因为严格凸函数的等高线不可能是直线段（否则这个方向上的二阶导为0），而凸集合的边界不可能是“凹”的，所以不存在边界多点有同样函数值的情况。所有的凸函数都一定能用精确梯度下降（gradient descent with optimal line search）找到（一个，如果有多个的话）最优解，因为只有在最优解附近的导数是0梯度下降才会停下来，除非最优无法达到（比如R++上的1/x这种函数，最优在无穷）——不过题主要求函数定义在紧集合上了，所以没有这种问题。因为如果梯度下降到了一个a点，如果其负梯度方向和集合在这一点的边界的切线反向（大概是指向外面），则它就是最优；否则，梯度下降肯定不能在这收敛——会沿着集合边缘下降找到真正的最优解。如果问题不是定义在凸集合，那就不好说了：比如在二维平面上定义f(x,y)=x^2+y^2（严格凸性）在Y轴右边有一个开口朝左的月牙形集合，在这个上面做优化，梯度下降就有可能找到月牙的任何一个端点（甚至极端情况下可能找到月牙的中间），这取决于初始化的位置。







文

Q5: 凸优化（四）凸函数分析

之前简单介绍了凸函数的定义，相信大家对凸函数有了简单的认识，但是这是远远不够的，这次通过一些详细的函数讲解来介绍一下部分常见凸函数的特点。

（1） 第一个定义 ：如果X为在实数向量空间的凸集。并且有映射 ，如果 被称为 凸 ，则有 如果F被称为 严格凸 ，那么有：

（2） 第二个定义 ：有映射 ，

（3） 第三个定义 ：若 可微，对

（4） 第四个定义 ： 二阶条件 ，若 二阶可微，则 （这里的大于等于号是表示特征值大于等0，表示矩阵半正定） 。

这四个定义在不同地方均有用处，但在判断函数是否为凸函数时最常用的是第四个。其中 为 Hessian矩阵 ，表示函数的二阶偏导矩阵。

（1） 仿射函数： ,显然，其二阶导函数为 ，所以仿射函数为 凸函数 。

（2） 指数函数： ,显然 ,所以指数函数是 凸函数 。

（3） 幂函数： ,接着求导啊求导~， ， ，显然啦，当 时，幂函数就成为了仿射函数，所以即凸又凹。

（4） 负熵函数： ,还是求导， ,嗯，还是个 严格凸函数 。（也是个非常重要的函数！！）

（5） 极大值函数（重中之重）： 现在来一个比较复杂却非常常见的函数： 这个函数显然是不可导的，那么首先根据定义一来看一下是否为凸函数。取两值 ，构造凸组合的新值 ,发现满足凸函数定义，所以极大值函数时凸函数。但是啊，由于其无法求导，后续处理会出现各种问题。所以，这里有一个解析逼近，就是用一个解析函数去逼近极大值函数。这个函数是这样的 ： 那么来证明一下这个函数也是凸函数吧！这里就要用到凸函数的第四个定义了，轮到Hessian矩阵出场了。对上述函数求二次偏导得到如下关系（ 公式打得累死 ）：

这个式子看上去也很丑，那么定义列向量 ,那么(1)式就变成了 ,函数的Hessian矩阵可以写成 那么大家还记得半正定矩阵如何证明么？就是 成立，那么A则为半正定矩阵。好，那么开始构造！！ 另 ,那么(2)式就变成了: 此式成立，用到的性质为 柯西-施瓦茨不等式 ,所以 函数为凸函数。

（6） 行列式的对数： ，首先说明一下啊，当矩阵X只有一维时，那么原函数则为 ，显然是凹函数。所以我们是在已经知道其为凹函数的前提下证明它是凹函数的了~根据凸函数的第二个定义当 ，构造凸组合的函数 继续化简得到为： 接着只要分析这个式子就可以，求导即可，得到： 到这里证明就结束了，原函数为凹函数得证。

可见啊，分析函数凸性一般都是通过其 矩阵来分析，但是对于部分凸函数的证明也不是简单的，总体的计算过程也在越来越复杂，后面会逐步讲解凸问题的理论与求解。但是在证明的过程中会发现，其理论也是一步一步建立起来的，弄懂了原理之后看问题就会举一反三了。

关于python凸函数最值和python凸优化的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。