机器学习第一课：微积分原理的多元扩展_您的 hessian 矩阵不是对称矩阵-程序员宅基地

中学开始，我们学过一元自变量的求导。但实际应用上往往需要多自变量求导。多元参数的思考方式也是化“未知为已知”的思想，我们可以将所有多元参数向量化。例如将多元的参数 $x_1,x_2,...$ 变成一个向量变元 $x=（x_1,x_2,...）$ 。这样从形式上又回到了我们熟悉的一元问题。后面提到多元函数参数时基本都用向量转化方法。

一、从一元参数的函数求导到多元参数的函数求导

多元参数常常用向量表示，所以这里的表层含义就是相当于对向量求导。
1.1 $f(x)$ 对向量x的一阶导数（这里x是向量）

f' (x) : g (x) = \nabla f (x) = \partial f ( x ) \partial x = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial f ( x ) \partial x 1 \partial f ( x ) \partial x 2 : : ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$f'(x): g(x)=\nabla f(x)=\frac{\partial f(x)}{\partial x} = \begin{bmatrix} \frac{\partial f(x)}{\partial x_1} \\ \frac{\partial f(x)}{\partial x_2}\\ :\\ :\\ \end{bmatrix}$
1.2

f(x) $f(x)$ 对向量x的二阶导数（这里x是向量）

f'' (x) : H (x) = \nabla 2 f (x) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial 2 f ( x ) \partial x 2 1 \partial 2 f ( x ) \partial x 2 \partial x 1 : \partial 2 f ( x ) \partial x 1 \partial x 2 . . . . . . ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$f''(x): H(x)=\nabla^2 f(x) = \begin{bmatrix} \frac{\partial^2f(x)}{\partial{x_1^2}} & \frac{\partial^2f(x)}{\partial{x_1}\partial{x_2}}& ... \\ \frac{\partial^2f(x)}{\partial{x_2}\partial{x_1}}& ...\\ :\\ \end{bmatrix}$
这个矩阵就是Hessian矩阵(工程上它一般是个对称矩阵，下面我们按照对称矩阵处理)，下面两个常用二级公式
若向量a与向量x无关，则

\partial a T x \partial x = a

$\frac{\partial a^T x}{\partial x}=a$
若矩阵A与向量x无关，则

\partial x T A x \partial x = 2 A x

$\frac{\partial x^TA x}{\partial x}=2Ax$

二、从一元参数的泰勒展开求导到多元参数的泰勒展开

一元函数的泰勒展开：

f (x k + δ) = f (x k) + f' (x k) δ + 1 2 f'' (x k) δ 2 + \dots + 1 k ! f (k) (x k) δ k + \dots

$f(x_k+\delta) = f(x_k)+f'(x_k)\delta+\frac{1}{2}f''(x_k)\delta^2+\cdots+\frac{1}{k!}f^{(k)}(x_k)\delta^k+\cdots$
那么多元参数（向量）的泰勒展开呢？
向量的泰勒展开：

f (x k + δ) \approx f (x k) + g T (x k) δ + 1 2 δ T H (x k) δ

$f(x_k+\delta) \approx f(x_k)+g^T(x_k)\delta+\frac{1}{2}\delta^T H(x_k)\delta$
g函数，H函数来自上面一中的式子。因为没有完全展开所以是约等于。

三、极值问题

一元参数的极值问题在高中被虐过很多次了吧。。。非边界连续点的极值问题有一套固定的套路，求导=0，将解得的点代入二阶导判断正负
负：极大值；
正：极小值；
0：鞍点，不能判断。

多元参数的函数呢？
同样首先算导数g(x)=0，求得点，然后将解代入Hessian矩阵判断是否是正定矩阵。
正定：极小值
负定：极大值
不定：不能判断。

四、梯度下降法与拟牛顿法

我们如果真的这么求，面临的问题会特别多。鞍点，无解等问题纷纷出现，兼职搞死宝宝了。工业上为了解决这种情况常用约束优化迭代法。就是我们常说的梯度下降法与拟牛顿法。由于这部分十分重要，我将用新文章加以整理。

说明

一、Hessian矩阵可能不是对称矩阵

上面挖了一个坑，这里有一个Hessian矩阵

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \partial 2 f ( x ) \partial x 2 1 \partial 2 f ( x ) \partial x 2 \partial x 1 : : \partial 2 f ( x ) \partial x 1 \partial x 2 . . . . . . ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$\begin{bmatrix} \frac{\partial^2f(x)}{\partial{x_1^2}} & \frac{\partial^2f(x)}{\partial{x_1}\partial{x_2}}& ...& \\ \frac{\partial^2f(x)}{\partial{x_2}\partial{x_1}}& ...\\ :\\ : \end{bmatrix}$
按直觉考虑，这应该是个对角矩阵。但直觉这个东西一般靠不住。我们国内通行高数教材上有个“偏导顺序可换的充分不必要条件”

如果函数z=f(x,y)在区域内连续,则下面公式的两个二阶混合偏导数相等才成立：

\partial 2 f ( x , y ) \partial x \partial y = \partial 2 f ( x , y ) \partial y \partial x

$\frac{\partial^2f(x,y)}{\partial{x}\partial{y}}= \frac{\partial^2f(x,y)}{\partial{y}\partial{x}}$

这就很尴尬了，Hassion矩阵看来不一定是对称矩阵。如果要强调Hassion矩阵是不是对称矩阵还要判断是否连续。我们多余判断这一步有没有意义呢？

二、对称矩阵

性质：这里对称矩阵的特征值都是实数。

向量求二阶导举例时，发现结果就三种可能：正定矩阵，负定矩阵，不定矩阵。
我们是不是忘了什么东西？对，复数。Hassion矩阵如果变成反对阵矩阵就直接悲剧了。

[11 - 1 1] \to λ 1 = 1 + i, λ 2 = 1 - i

$\begin{bmatrix} 1 & -1\\ 1 & 1 \end{bmatrix} \rightarrow \lambda_1 =1+i,\lambda_2 =1-i$
这下知道工业中为什么喜欢连续了吧。原来这一章的坑是连续的判断或不连续函数的连续化。

三、鞍点问题

这个东西的确难死，我之前在刷考研数学题时，都很少见过这样的。
我的方法就是设 $G(x)=f'(x)$
然后复杂反推。这实际上相当于求三阶导了。

本文链接：https://blog.csdn.net/dajiabudongdao/article/details/52397343

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

python opencv resize函数_python opencv 等比例调整（缩放）图片分辨率大小代码 cv2.resize()...-程序员宅基地

文章浏览阅读1.3k次。# -*- coding: utf-8 -*-"""@File : 200113_等比例调整图像分辨率大小.py@Time : 2020/1/13 13:38@Author : Dontla@Email : [email protected]@Software: PyCharm"""import cv2def img_resize(image):height, width = image...._opencv小图等比例缩放

【OFDM、OOK、PPM、QAM的BER仿真】绘制不同调制方案的误码率曲线研究（Matlab代码实现）-程序员宅基地

文章浏览阅读42次。对于这些调制技术的误码率（BER）研究是非常重要的，因为它们可以帮助我们了解在不同信道条件下系统的性能表现。通过以上步骤，您可以进行OFDM、OOK、PPM和QAM的误码率仿真研究，并绘制它们的误码率曲线，以便更好地了解它们在不同信道条件下的性能特点。针对这些调制技术的BER研究是非常重要的，可以帮助我们更好地了解这些技术在不同信道条件下的性能表现，从而指导系统设计和优化。6. 分析结果：根据误码率曲线的比较，分析每种调制方案在不同信噪比条件下的性能，包括其容忍的信道条件和适用的应用场景。_ber仿真

【已解决】Vue的Element框架，日期组件（el-date-picker）的@change事件，不会触发。_el-date-picker @change不触发-程序员宅基地

文章浏览阅读2.5w次，点赞3次，收藏3次。1、场景照抄官方的实例，绑定了 myData.Age 这个值。实际选择某个日期后，从 vuetool（开发工具）看，值已经更新了，但视图未更新。2、尝试绑定另一个值： myData，可以正常的触发 @change 方法。可能是：值绑定到子对象时，组件没有侦测到。3、解决使用 @blur 代替 @change 方法。再判断下 “值有没有更新” 即可。如有更好的方法，欢迎评论！..._el-date-picker @change不触发

PCL学习：滤波—Projectlnliers投影滤波_projectinliers-程序员宅基地

文章浏览阅读1.5k次，点赞2次，收藏8次。Projectlnliersclass pcl: : Projectlnliers< PointT >类 Projectlnliers 使用一个模型和一组的内点的索引，将内点投影到模型形成新的一个独立点云。关键成员函数 void setModelType(int model) 通过用户给定的参数设置使用的模型类型，参数 Model 为模型类型（见 mo..._projectinliers

未处理System.BadImageFormatException”类型的未经处理的异常在 xxxxxxx.exe 中发生_“system.badimageformatexception”类型的未经处理的异常在未知模块。 -程序员宅基地

文章浏览阅读2.4k次。“System.BadImageFormatException”类型的未经处理的异常在 xxxx.exe 中发生其他信息: 未能加载文件或程序集“xxxxxxx, Version=xxxxxx,xxxxxxx”或它的某一个依赖项。试图加载格式不正确的程序。此原因是由于 ” 目标程序的目标平台与依赖项的目标编译平台不一致导致，把所有的项目都修改到同一目标平台下（X86、X64或AnyCPU）进行编译，一般即可解决问题“。若果以上方式不能解决，可采用如下方式：右键选择配置管理器，在这里修改平台。_“system.badimageformatexception”类型的未经处理的异常在未知模块。中发生

PC移植安卓---2018/04/26_电脑软件移植安卓-程序员宅基地

文章浏览阅读2.4k次。记录一下碰到的问题：1.Assetbundle加载问题：原PC打包后的AssetBundle导入安卓工程后，加载会出问题。同时工程打包APK时,StreamingAssets中不能有中文。解决方案：（1）.加入PinYinConvert类，用于将中文转换为拼音（多音字可能会出错，例如空调转换为KongDiao||阿拉伯数字不支持，如Ⅰ、Ⅱ、Ⅲ、Ⅳ(IIII)、Ⅴ、Ⅵ、Ⅶ、Ⅷ、Ⅸ、Ⅹ..._电脑软件移植安卓

随便推点

聊聊线程之run方法_start 是同步还是异步-程序员宅基地

文章浏览阅读2.4k次。话不多说参考书籍汪文君补充知识：start是异步，run是同步，start的执行会经过JNI方法然后被任务执行调度器告知给系统内核分配时间片进行创建线程并执行，而直接调用run不经过本地方法就是普通对象执行实例方法。什么是线程？1.现在几乎百分之百的操作系统都支持多任务的执行，对计算机来说每一个人物就是一个进程（Process）,在每一个进程内部至少要有一个线程实在运行中，有时线..._start 是同步还是异步

制作非缘勿扰页面特效----JQuery_单击标题“非缘勿扰”,<dd>元素中有id属性的<span>的文本(主演、导演、标签、剧情-程序员宅基地

文章浏览阅读5.3k次，点赞9次，收藏34次。我主要用了层次选择器和属性选择器可以随意选择，方便简单为主大体CSS格式大家自行构造网页主体<body> <div class='main' > <div class='left'> <img src="images/pic.gif" /> <br/><br/> <img src="images/col.gif" alt="收藏本片"/&_单击标题“非缘勿扰”,元素中有id属性的的文本(主演、导演、标签、剧情

【Python】No module named ‘win32com‘，最简单的解决方法，适用windows、mac、linux_no module named 'win32com-程序员宅基地

文章浏览阅读2.2k次。完整的解决思路_no module named 'win32com

有了这6款浏览器插件，浏览器居然“活了”？！媳妇儿直呼“大开眼界”_浏览器插件助手-程序员宅基地

文章浏览阅读901次，点赞20次，收藏23次。浏览器是每台电脑的必装软件，去浏览器搜索资源和信息已经成为我们的日常，我媳妇儿原本也以为浏览器就是上网冲浪而已，哪有那么强大，但经过我的演示之后她惊呆了，直接给我竖起大拇指道：“原来浏览器还能这么用？大开眼界！今天来给大家介绍几款实用的浏览器插件，学会之后让你的浏览器“活过来”！_浏览器插件助手

NumPy科学数学库_数学中常用的环境有numpy-程序员宅基地

文章浏览阅读101次。NumPy是Python中最常用的科学数学计算库之一，它提供了高效的多维数组对象以及对这些数组进行操作的函数NumPy的核心是ndarray（N-dimensional array）对象，它是一个用于存储同类型数据的多维数组Numpy通常与SciPy（Scientific Python）和 Matplotlib（绘图库）一起使用，用于替代MatLabSciPy是一个开源的Python算法库和数学工具包；Matplotlib是Python语言及其Numpy的可视化操作界面'''_数学中常用的环境有numpy

dind（docker in docker）学习-程序员宅基地

文章浏览阅读1.1w次。docker in docker说白了，就是在docker容器内启动一个docker daemon，对外提供服务。优点在于：镜像和容器都在一个隔离的环境，保持操作者的干净环境。想到了再补充：）一：低版本启动及访问启动1.12.6-dinddocker run --privileged -d --name mydocker docker:1.12.6-dind在其他容器访问d..._dind