技术标签： 机器学习
假设最后根据各个基模型 G i ( x ) i ∈ [ 1 , m ] G_i(x) {i\in[1,m]} Gi(x)i∈[1,m],各个基模型重要程度为 α i \alpha_i αi加权得到的模型为 f m ( x ) f_m(x) fm(x),其中 y ∈ { − 1 , 1 } y\in{\{-1,1\}} y∈{ −1,1}
f m ( x ) = ∑ i = 1 m α i G i ( x ) f_m(x) = \sum_{i = 1}^{m}\alpha_{i} G_i(x) fm(x)=i=1∑mαiGi(x)
f m ( x ) = ∑ i = 1 m − 1 α i G i ( x ) + α m G m ( x ) f_m(x) = \sum_{i=1}^{m-1}\alpha_{i} G_i(x)+\alpha_m G_m(x) fm(x)=i=1∑m−1αiGi(x)+αmGm(x)
f m ( x ) = f m − 1 ( x ) + α m G m ( x ) f_m(x) = f_{m-1}(x) +\alpha_m G_m(x) fm(x)=fm−1(x)+αmGm(x)
基学习器的损失函数为 L ( y , f ( x ) ) = e − y f ( x ) L(y,f(x)) = e^{-yf(x)} L(y,f(x))=e−yf(x)
所以整个Adaboost模型的损失函数为：
L = ∑ i = 1 n e x p ( − y i f ( x i ) ) L = \sum_{i =1}^{n}{exp{(-y_if(x_i))}} L=i=1∑nexp(−yif(xi))
该损失函数的 α m \alpha_m αm和 G m ( x ) G_m(x) Gm(x)是需要求得的
( α m , G m ( x ) ) = a r g m i n α m , G m ∑ i = 1 n e x p ( − y i ( f m − 1 ( x i ) + α m G m ( x i ) ) ) (\alpha_m,G_m(x))= \mathop{argmin}\limits_{\alpha_m,G_m} \sum_{i=1}^{n}exp{(-y_i(f_{m-_1} (x_i)+\alpha_m G_m(x_i)))} (αm,Gm(x))=αm,Gmargmini=1∑nexp(−yi(fm−1(xi)+αmGm(xi)))
其中 ∑ i = 1 n e x p ( − y i ( f m − 1 ( x i ) + α m G m ( x i ) ) = ∑ i = 1 n e x p ( − y i f m − 1 ( x i ) ) e x p ( − y i α m G m ( x i ) ) \sum_{i=1}^{n}exp(-y_i(f_{m-1}(x_i)+\alpha_m G_m(x_i))=\sum_{i=1}^{n}exp(-y_if_{m-1}(x_i))exp(-y_i\alpha_m G_m(x_i)) ∑i=1nexp(−yi(fm−1(xi)+αmGm(xi))=∑i=1nexp(−yifm−1(xi))exp(−yiαmGm(xi))–(1)
设 ω i m = e x p ( − y i f m − 1 ( x i ) ) \omega_i^{m} = exp(-y_if_{m-1}(x_i)) ωim=exp(−yifm−1(xi)),将其带入式(1)得到：
∑ i = 1 n ω i m e x p ( − y i α m G m ( x i ) ) \sum\limits_{i=1}^{n}\omega_ i^ {m} exp(-y_i\alpha_mG_m(x_i)) i=1∑nωimexp(−yiαmGm(xi))–(2)
当 y i = G m ( x i ) y_i=G_m(x_i) yi=Gm(xi)时， y i G m ( x i ) = 1 y_iG_m(x_i) = 1 yiGm(xi)=1,当 y i ≠ G m ( x i ) y_i\neq G_m(x_i) yi=Gm(xi)时， y i G m ( x i ) = − 1 y_iG_m(x_i) = -1 yiGm(xi)=−1,所以式(2)可以写成
∑ y i = G m ( x i ) n ω i m e x p ( − α m ) + ∑ y i ≠ G m ( x i ) n ω i m e x p ( α m ) \sum\limits_{y_i=G_m(x_i)}^{n}\omega_{i}^{m}exp(-\alpha_m)+\sum\limits_{y_i \neq G_m(x_i)}^{n}\omega_{i}^{m} exp(\alpha_m) yi=Gm(xi)∑nωimexp(−αm)+yi=Gm(xi)∑nωimexp(αm)
= ∑ y i = G m ( x i ) n ω i m e x p ( − α m ) + ∑ y i ≠ G m ( x i ) n ω i m e x p ( α m ) + ∑ y i ≠ G m ( x i ) n ω i m e x p ( − α m ) − ∑ y i ≠ G m ( x i ) n ω i m e x p ( − α m ) =\sum\limits_{y_i=G_m(x_i)}^{n}\omega_{i}^{m}exp(-\alpha_m)+\sum\limits_{y_i \neq G_m(x_i)}^{n} \omega_{i}^{m}exp(\alpha_m) +\sum\limits_{y_i \neq G_m(x_i)}^{n} \omega_{i}^{m}exp(-\alpha_m) -\sum\limits_{y_i \neq G_m(x_i)}^{n} \omega_{i}^{m}exp(-\alpha_m) =yi=Gm(xi)∑nωimexp(−αm)+yi=Gm(xi)∑nωimexp(αm)+yi=Gm(xi)∑nωimexp(−αm)−yi=Gm(xi)∑nωimexp(−αm)
= e − α m ∑ i = 1 n ω i m − ( e − α m − e α m ) ∑ y i ≠ G m ( x i ) n ω i m =e^{-\alpha_m}\sum_{i=1}^{n}\omega_{i}^{m}-(e^{-\alpha_m}-e^{\alpha_m})\sum\limits_{y_i\neq G_m(x_i)}^{n}\omega_{i}^{m} =e−αm∑i=1nωim−(e−αm−eαm)yi=Gm(xi)∑nωim
= e − α m ∑ i = 1 n ω i m − ( e − α m − e α m ) ∑ i = 1 n ω i m I ( y i ≠ G m ( x i ) ) =e^{-\alpha_m}\sum\limits_{i=1}^{n}{\omega_{i}^{m}}-(e^{-\alpha_m}-e^{\alpha_m})\sum\limits_{i=1}^{n} {\omega_{i}^{m}I(y_i \neq G_m(x_i))} =e−αmi=1∑nωim−(e−αm−eαm)i=1∑nωimI(yi=Gm(xi))–(3)
要使式(3)最小，则 G m ( x ) G_m(x) Gm(x)应该取 a r g m i n G ∑ i = 1 n ω i m I ( y i ≠ G m ( x i ) ) \mathop{argmin}\limits_{G}\sum\limits_{i=1}^{n}\omega_{i}^{m}I(y_i \neq G_m(x_i)) Gargmini=1∑nωimI(yi=Gm(xi))
因为每次求每个点的重要程度时都会除以总和，所以 ∑ i = 1 n ω i m = 1 \sum\limits_{i=1}^{n}{\omega_{i}^{m}}=1 i=1∑nωim=1，对式(3)中的 α m \alpha_m αm求导得到：
− e − α m − ( − e − α m − e α m ) ∑ i = 1 n ω i n I ( y i ≠ G m ( x i ) ) = 0 -e^{-\alpha_m}-(-e^{-\alpha_m}-e^{\alpha_m})\sum\limits_{i=1}^{n}\omega_{i}^{n}I(y_i \neq G_m(x_i)) = 0 −e−αm−(−e−αm−eαm)i=1∑nωinI(yi=Gm(xi))=0
e − α m ( 1 − ∑ i = 1 n ω i n I ( y i ≠ G m ( x i ) ) ) = e α m ∑ i = 1 n I ( y i ≠ G m ( x i ) ) e^{-\alpha_m}(1-\sum\limits_{i=1}^{n}{\omega_{i}^{n}I(y_i\neq G_m(x_i))})= e^{\alpha_m}\sum\limits_{i=1}^{n}I(y_i \neq G_m(x_i)) e−αm(1−i=1∑nωinI(yi=Gm(xi)))=eαmi=1∑nI(yi=Gm(xi))–(4)
令 ∑ i = 1 n ω i = 1 n I ( y i ≠ G m ( x i ) ) = e m \sum\limits_{i=1}^{n}\omega_{i=1}^{n}I(y_i \neq G_m(x_i))= e_m i=1∑nωi=1nI(yi=Gm(xi))=em
化简式(4)得到 α m = 1 2 l n ( 1 − e m e m ) \alpha_m = \frac{1}{2}ln(\frac{1-e_m}{e_m}) αm=21ln(em1−em)
因为 ω i m = e x p ( − y i f m − 1 ( x i ) ) \omega_i^{m} = exp(-y_if_{m-1}(x_i)) ωim=exp(−yifm−1(xi))可以推导得
ω i m + 1 = e x p ( − y i f m ( x i ) ) = e x p ( − y i ( f m − 1 ( x i ) + α m G m ( x i ) ) ) = e x p ( − y i f m − 1 ) e x p ( − y i α m G m ( x i ) ) \omega_i^{m+1} = exp(-y_if_{m}(x_i))=exp(-y_i(f_{m-1}(x_i)+\alpha_m G_m(x_i)))=exp(-y_if_{m-1})exp(-y_i \alpha_m G_m(x_i)) ωim+1=exp(−yifm(xi))=exp(−yi(fm−1(xi)+αmGm(xi)))=exp(−yifm−1)exp(−yiαmGm(xi))
= ω i m e x p ( − y i α m G m ( x i ) ) =\omega_{i}^{m}exp(-y_i\alpha_m G_m(x_i)) =ωimexp(−yiαmGm(xi))
文章浏览阅读2.1k次。FX3 JLINK调试是一个有些麻烦的事情，经常有些莫名其妙的问题。 设置参见 c:\Program Files (x86)\Cypress\EZ-USB FX3 SDK\1.3\doc\firmware 下的 EzUsbSuite_UG.pdf 文档。 常见问题： 1.装了多个版本的jlink，使用了未注册或不适当的版本 选择一个正确的版本。JLinkARM_V408l，JLinkA_ezusbsuite_qsg.pdf
文章浏览阅读2.6k次。** 本文仅通过用openGL+QT简单实现二进制stl文件读取显示并通过鼠标旋转缩放， 是比较入门的级别，由于个人能力有限，新手级别，所以未能施加光影灯光等操作， 未能让显示的stl文件更加真实。****效果图：**1. main.cpp```cpp#include "widget.h"#include <QApplication>int main(int argc, char *argv[]){ QApplication a(argc, argv); _qopengl如何鼠标控制旋转
文章浏览阅读943次，点赞22次，收藏19次。以大规模预训练语言模型为基础的chatgpt成功出圈，在近几日已经给人工智能板块带来了多次涨停，这足够说明这一风口的到来。而作为曾经的风口“知识图谱”而言，如何找到其与chatgpt之间的区别，找好自身的定位显得尤为重要。形式化知识和参数化知识在表现形式上一直都是大家考虑的问题，两种技术都应该有自己的定位与价值所在。知识图谱构建往往是抽取式的，而且往往包含一系列知识冲突检测、消解过程，整个过程都能溯源。以这样的知识作为输入，能在相当程度上解决当前ChatGPT的事实谬误问题，并具有可解释性。
文章浏览阅读1.3k次。最重要的一点，一定是degbug的方式启动，不然热部署不会生效，注意，注意！_tomcat热部署
文章浏览阅读10w+次，点赞56次，收藏482次。html5 ，用css去修饰自己的个人主页代码如下：<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xh..._个人主页源码
文章浏览阅读201次。开发者（KaiFaX）面向全栈工程师的开发者专注于前端、Java/Python/Go/PHP的技术社区来源：开源最前线链接：https://github.com/svenstaro/gen..._程序员怎么上班摸鱼
文章浏览阅读1.3k次。改变Block UI界面的尺寸_ug二次开发 调整 对话框大小
文章浏览阅读1.3w次，点赞18次，收藏291次。基于深度学习的股票预测数据获取数据转换LSTM模型搭建训练模型预测结果数据获取采用tushare的数据接口（不知道tushare的筒子们自行百度一下，简而言之其免费提供各类金融数据 , 助力智能投资与创新型投资。）python可以直接使用pip安装tushare!pip install tushareCollecting tushare Downloading https://files.pythonhosted.org/packages/17/76/dc6784a1c07ec040e74_基于深度学习的股票操纵识别研究python代码
文章浏览阅读2k次。【IT168 厂商动态】 近日，北京中科网威(NETPOWER)工业级防火墙通过了中国电力工业电力设备及仪表质量检验测试中心(厂站自动化及远动)测试，并成为中国首家通过电力协议访问控制专业测评的工业级防火墙生产厂商。 北京中科网威(NETPOWER)工业级防火墙专为工业及恶劣环境下的网络安全需求而设计，它采用了非X86的高可靠嵌入式处理器并采用无风扇设计，整机功耗不到22W，具备极_电力行业防火墙有哪些
文章浏览阅读206次。/*烟台大学计算机学院 作者:董玉祥 完成日期: 2017 12 3 问题描述：二叉树排序树中查找的路径 */#include #include #define MaxSize 100typedef int KeyType; //定义关键字类型typedef char InfoType;typedef struct node
文章浏览阅读775次。当时老师一定会告诉你，这个一个"warning"的报警，可以不用管它，也确实如此。不过，这条报警信息我们至少可以知道一点，就是scanf函数调用完之后是有一个返回值的，下面我们就要对scanf返回值进行详细的讨论。并给出在编程时利用scanf的返回值可以实现的一些功能。_c语言ignoring return value
文章浏览阅读9.6k次。十四五规划下，数据安全成为国家、社会发展面临的重要议题，《数据安全法》《个人信息保护法》《关键信息基础设施安全保护条例》已陆续施行。如何做好“数据安全建设”是数字时代的必答题。_数字医疗服务保障方案