Adaboost模型公式的参数推导_adaboost加权公式-程序员宅基地

假设最后根据各个基模型 $G_i(x) {i\in[1,m]}$ ,各个基模型重要程度为 $\alpha_i$ 加权得到的模型为 $f_m(x)$ ,其中 $y\in{\{-1,1\}}$

$f_m(x) = \sum_{i = 1}^{m}\alpha_{i} G_i(x)$
$f_m(x) = \sum_{i=1}^{m-1}\alpha_{i} G_i(x)+\alpha_m G_m(x)$
$f_m(x) = f_{m-1}(x) +\alpha_m G_m(x)$

基学习器的损失函数为 $L(y,f(x)) = e^{-yf(x)}$

所以整个Adaboost模型的损失函数为：
$\sum_{i =1}^{n}{exp{(-y_if(x_i))}}$

该损失函数的 $\alpha_m$ 和 $G_m(x)$ 是需要求得的

$(\alpha_m,G_m(x))= \mathop{argmin}\limits_{\alpha_m,G_m} \sum_{i=1}^{n}exp{(-y_i(f_{m-_1} (x_i)+\alpha_m G_m(x_i)))}$

其中 $\sum_{i=1}^{n}exp(-y_i(f_{m-1}(x_i)+\alpha_m G_m(x_i))=\sum_{i=1}^{n}exp(-y_if_{m-1}(x_i))exp(-y_i\alpha_m G_m(x_i))$ –(1)

设 $\omega_i^{m} = exp(-y_if_{m-1}(x_i))$ ,将其带入式(1)得到：

$\sum\limits_{i=1}^{n}\omega_ i^ {m} exp(-y_i\alpha_mG_m(x_i))$ –(2)

当 $y_i=G_m(x_i)$ 时， $y_iG_m(x_i) = 1$ ,当 $y_i\neq G_m(x_i)$ 时， $y_iG_m(x_i) = -1$ ,所以式(2)可以写成

$\sum\limits_{y_i=G_m(x_i)}^{n}\omega_{i}^{m}exp(-\alpha_m)+\sum\limits_{y_i \neq G_m(x_i)}^{n}\omega_{i}^{m} exp(\alpha_m)$

$=\sum\limits_{y_i=G_m(x_i)}^{n}\omega_{i}^{m}exp(-\alpha_m)+\sum\limits_{y_i \neq G_m(x_i)}^{n} \omega_{i}^{m}exp(\alpha_m) +\sum\limits_{y_i \neq G_m(x_i)}^{n} \omega_{i}^{m}exp(-\alpha_m) -\sum\limits_{y_i \neq G_m(x_i)}^{n} \omega_{i}^{m}exp(-\alpha_m)$

$=e^{-\alpha_m}\sum_{i=1}^{n}\omega_{i}^{m}-(e^{-\alpha_m}-e^{\alpha_m})\sum\limits_{y_i\neq G_m(x_i)}^{n}\omega_{i}^{m}$

$=e^{-\alpha_m}\sum\limits_{i=1}^{n}{\omega_{i}^{m}}-(e^{-\alpha_m}-e^{\alpha_m})\sum\limits_{i=1}^{n} {\omega_{i}^{m}I(y_i \neq G_m(x_i))}$ –(3)

要使式(3)最小，则 $G_m(x)$ 应该取 $\mathop{argmin}\limits_{G}\sum\limits_{i=1}^{n}\omega_{i}^{m}I(y_i \neq G_m(x_i))$

因为每次求每个点的重要程度时都会除以总和，所以 $\sum\limits_{i=1}^{n}{\omega_{i}^{m}}=1$ ，对式(3)中的 $\alpha_m$ 求导得到：

$-e^{-\alpha_m}-(-e^{-\alpha_m}-e^{\alpha_m})\sum\limits_{i=1}^{n}\omega_{i}^{n}I(y_i \neq G_m(x_i)) = 0$

$e^{-\alpha_m}(1-\sum\limits_{i=1}^{n}{\omega_{i}^{n}I(y_i\neq G_m(x_i))})= e^{\alpha_m}\sum\limits_{i=1}^{n}I(y_i \neq G_m(x_i))$ –(4)

令 $\sum\limits_{i=1}^{n}\omega_{i=1}^{n}I(y_i \neq G_m(x_i))= e_m$

化简式(4)得到 $\alpha_m = \frac{1}{2}ln(\frac{1-e_m}{e_m})$

因为 $\omega_i^{m} = exp(-y_if_{m-1}(x_i))$ 可以推导得

$\omega_i^{m+1} = exp(-y_if_{m}(x_i))=exp(-y_i(f_{m-1}(x_i)+\alpha_m G_m(x_i)))=exp(-y_if_{m-1})exp(-y_i \alpha_m G_m(x_i))$

$=\omega_{i}^{m}exp(-y_i\alpha_m G_m(x_i))$

本文链接：https://blog.csdn.net/icodeblocks/article/details/109756475

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

【CSDN精选】基于龙芯1B200的rt-thread基础_龙芯1b200参数-程序员宅基地

文章浏览阅读927次，点赞15次，收藏13次。龙芯是中国的一款自主设计的处理器架构，由中国科学院计算技术研究所（ICT）主导研发。龙芯处理器最早的版本为Loongson-1，其后发展出Loongson-2、Loongson-3等系列。这些处理器主要用于高性能计算、服务器、嵌入式系统等领域。Loongson架构具有独立知识产权，是中国自主研发的一种指令集架构。龙芯的设计旨在实现对计算机体系结构的自主掌握，减少对外部知识产权的依赖。RT-Thread（Real-Time Thread）是一个开源的实时嵌入式操作系统。_龙芯1b200参数

Python函数知识点（详解）-程序员宅基地

文章浏览阅读6w次，点赞584次，收藏2.9k次。本篇总结了Python函数相关的基础知识点，代码案例超详细，欢迎阅读，交流！_python函数知识点

虚拟机如何在net模式下进行联网_虚拟机net网络-程序员宅基地

文章浏览阅读1.7k次，点赞3次，收藏7次。虚拟机如何在net模式下进行联网（centos7）1.首先你需要先将虚拟机安装好，如果不会可以参考[centos7安装教程](https://blog.csdn.net/qq_44714603/article/details/88829423?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522161949204316780274178621%2522%252C%2522scm%2522%253A%252220140713.130102334…_虚拟机net网络

python中的range()函数_python range函数-程序员宅基地

文章浏览阅读6.5w次，点赞59次，收藏241次。range()函数：用于生成一个整数序列；range()的三种创建方式：第一种：只有一个参数（小括号中只给了一个数）即range(stop)例如：range(10)指的是默认从0开始，步长为1，不包括10；注意：的运行结果为：；要想输出0-9的数字序列则应该是的结果为；第二种：range(start,stop) （给了两个参数，即小括号中给了两个数）r=range(1,10) print(list(r)) 运行结果为：；第三种：range(start,stop,step)：._python range函数

数据的四种基本存储方法_数据存储-程序员宅基地

文章浏览阅读2.5k次。数据的四种基本存储方法，（1）顺序存储方法（2）链接存储方法（3）索引存储方法（4）散列存储方法_数据存储

Mysql启用SSL以及JDBC连接Mysql配置_jdbc mysql ssl-程序员宅基地

文章浏览阅读6.7k次。一、Mysql启用SSL配置1.检查mysql是否支持ssl在linux端用root账号进入mysql命令行界面，查看当前版本mysql数据库是否支持ssl，如果出现以下结果表示支持，如果没有考虑更换版本，或者编译一个带有SSL版本的mysqlshell>show variables like ‘%ssl%’;2.设置用户是否使用ssl连接1.查看用户是否使用SSL连接she..._jdbc mysql ssl