机器学习 - 随机森林手动10 折交叉验证-程序员宅基地

随机森林的 10 折交叉验证

library(randomForest)
set.seed(304)
rf1000 <- randomForest(expr_mat, metadata[[group]], ntree=1000)
rf1000

## 
## Call:
##  randomForest(x = expr_mat, y = metadata[[group]], ntree = 1000) 
##                Type of random forest: classification
##                      Number of trees: 1000
## No. of variables tried at each split: 84
## 
##         OOB estimate of  error rate: 11.69%
## Confusion matrix:
##       DLBCL FL class.error
## DLBCL    57  1  0.01724138
## FL        8 11  0.42105263

除了 OOB，我们还可以怎么评估模型的准确性呢？这里没有测试集，那么就拿原始数据做个评估吧（注意：这样会低估预测错误率）：

# 查看模型的类，为randomForest
class(rf1000)

## [1] "randomForest"

# 查看 predict 函数的帮助，默认帮助信息为通用函数 predict 的
# ?predict

# 查看 randomForest 类的 predict 的帮助（predict+'.'+类名字)
# 像 print 此类函数，也是如此查看帮助或源码
#  type 参数: response 表示返回分类的值；prob 表示分类的概率；vote 表示 vote counts
# ?predict.randomForest

开始预测

preds <- predict(rf1000, expr_mat, type="response")

查看下preds对象，显示的是每个样品被预测为属于什么类。

preds

##  DLBCL_1  DLBCL_2  DLBCL_3  DLBCL_4  DLBCL_5  DLBCL_6  DLBCL_7  DLBCL_8  DLBCL_9 DLBCL_10 DLBCL_11 
##    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL 
## DLBCL_12 DLBCL_13 DLBCL_14 DLBCL_15 DLBCL_16 DLBCL_17 DLBCL_18 DLBCL_19 DLBCL_20 DLBCL_21 DLBCL_22 
##    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL 
## DLBCL_23 DLBCL_24 DLBCL_25 DLBCL_26 DLBCL_27 DLBCL_28 DLBCL_29 DLBCL_30 DLBCL_31 DLBCL_32 DLBCL_33 
##    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL 
## DLBCL_34 DLBCL_35 DLBCL_36 DLBCL_37 DLBCL_38 DLBCL_39 DLBCL_40 DLBCL_41 DLBCL_42 DLBCL_43 DLBCL_44 
##    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL 
## DLBCL_45 DLBCL_46 DLBCL_47 DLBCL_48 DLBCL_49 DLBCL_50 DLBCL_51 DLBCL_52 DLBCL_53 DLBCL_54 DLBCL_55 
##    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL    DLBCL 
## DLBCL_56 DLBCL_57 DLBCL_58     FL_1     FL_2     FL_3     FL_4     FL_5     FL_6     FL_7     FL_8 
##    DLBCL    DLBCL    DLBCL       FL       FL       FL       FL       FL       FL       FL       FL 
##     FL_9    FL_10    FL_11    FL_12    FL_13    FL_14    FL_15    FL_16    FL_17    FL_18    FL_19 
##       FL       FL       FL       FL       FL       FL       FL       FL       FL       FL       FL 
## Levels: DLBCL FL

计算模型效果评估矩阵（也称混淆矩阵），敏感性、特异性 100%。完美的模型！！！（这里主要是看下predict如何使用，完美的模型只是说构建的完美，不能表示预测性能的完美，因为没有用独立数据集进行评估。）

library(caret)

## Warning: package 'caret' was built under R version 4.0.3

## Loading required package: lattice

## Loading required package: ggplot2

## 
## Attaching package: 'ggplot2'

## The following object is masked from 'package:randomForest':
## 
##     margin

caret::confusionMatrix(preds, metadata[[group]])

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction DLBCL FL
##      DLBCL    58  0
##      FL        0 19
##                                      
##                Accuracy : 1          
##                  95% CI : (0.9532, 1)
##     No Information Rate : 0.7532     
##     P-Value [Acc > NIR] : 3.343e-10  
##                                      
##                   Kappa : 1          
##                                      
##  Mcnemar's Test P-Value : NA         
##                                      
##             Sensitivity : 1.0000     
##             Specificity : 1.0000     
##          Pos Pred Value : 1.0000     
##          Neg Pred Value : 1.0000     
##              Prevalence : 0.7532     
##          Detection Rate : 0.7532     
##    Detection Prevalence : 0.7532     
##       Balanced Accuracy : 1.0000     
##                                      
##        'Positive' Class : DLBCL      
##

predict还可以返回分类的概率 (有了这个是不是就可以绘制 ROC 曲线和计算AUC 值了)。

preds_prob <- predict(rf1000, expr_mat, type="prob")
head(preds_prob)

##         DLBCL    FL
## DLBCL_1 0.951 0.049
## DLBCL_2 0.972 0.028
## DLBCL_3 0.975 0.025
## DLBCL_4 0.984 0.016
## DLBCL_5 0.963 0.037
## DLBCL_6 0.989 0.011

predict还可以返回分类的vote值。

preds_prob <- predict(rf1000, expr_mat, type="vote")
head(preds_prob)

##         DLBCL    FL
## DLBCL_1 0.951 0.049
## DLBCL_2 0.972 0.028
## DLBCL_3 0.975 0.025
## DLBCL_4 0.984 0.016
## DLBCL_5 0.963 0.037
## DLBCL_6 0.989 0.011

前面主要是学习下predict和confusionMatrix函数的使用。把前面的代码串起来，就构成了一个随机森林的 10 折交叉验证代码：

# https://stackoverflow.com/questions/47960427/how-to-calculate-the-oob-of-random-forest
K = 10
m = nrow(expr_mat)
set.seed(1)
kfold <- sample(rep(1:K, length.out=m), size=m, replace=F)

randomForestCV <- function(x, y, xtest, ytest, type="response", seed=1, ...){
  set.seed(seed)
  model <- randomForest(x, y, ...)
  preds <- predict(model, xtest, type=type)
  return(data.frame(preds, real=ytest))
}

CV_rf <- lapply(1:K, function(x, ...){ 
  train_set = expr_mat[kfold != x,]
  train_label = metadata[[group]][kfold!=x]

  validate_set = expr_mat[kfold == x,]
  validate_label = metadata[[group]][kfold==x]

  randomForestCV(x=train_set, y=train_label, xtest=validate_set, ytest=validate_label, ...)
  })

kfold_estimate <- do.call(rbind, CV_rf)

查看下10 折交叉验证的预测结果

kfold_estimate

##          preds  real
## DLBCL_3  DLBCL DLBCL
## DLBCL_8  DLBCL DLBCL
## DLBCL_9  DLBCL DLBCL
## DLBCL_35 DLBCL DLBCL
## DLBCL_57 DLBCL DLBCL
## FL_9     DLBCL    FL
## FL_10    DLBCL    FL
## FL_18       FL    FL
## DLBCL_15 DLBCL DLBCL
## DLBCL_16 DLBCL DLBCL
## DLBCL_40 DLBCL DLBCL
## DLBCL_41 DLBCL DLBCL
## DLBCL_42 DLBCL DLBCL
## DLBCL_44 DLBCL DLBCL
## DLBCL_51 DLBCL DLBCL
## DLBCL_53 DLBCL DLBCL
## DLBCL_5  DLBCL DLBCL
## DLBCL_20 DLBCL DLBCL
## DLBCL_25 DLBCL DLBCL
## DLBCL_32 DLBCL DLBCL
## DLBCL_38 DLBCL DLBCL
## FL_2     DLBCL    FL
## FL_12    DLBCL    FL
## FL_16       FL    FL
## DLBCL_4  DLBCL DLBCL
## DLBCL_6  DLBCL DLBCL
## DLBCL_10 DLBCL DLBCL
## DLBCL_14 DLBCL DLBCL
## DLBCL_18 DLBCL DLBCL
## DLBCL_39 DLBCL DLBCL
## FL_1     DLBCL    FL
## FL_6        FL    FL
## DLBCL_17 DLBCL DLBCL
## DLBCL_19 DLBCL DLBCL
## DLBCL_22 DLBCL DLBCL
## DLBCL_33 DLBCL DLBCL
## DLBCL_36 DLBCL DLBCL
## DLBCL_45 DLBCL DLBCL
## DLBCL_47 DLBCL DLBCL
## FL_11    DLBCL    FL
## DLBCL_13 DLBCL DLBCL
## DLBCL_23 DLBCL DLBCL
## DLBCL_37 DLBCL DLBCL
## DLBCL_52 DLBCL DLBCL
## FL_3        FL    FL
## FL_5        FL    FL
## FL_17    DLBCL    FL
## FL_19       FL    FL
## DLBCL_11 DLBCL DLBCL
## DLBCL_12 DLBCL DLBCL
## DLBCL_27 DLBCL DLBCL
## DLBCL_28 DLBCL DLBCL
## DLBCL_54 DLBCL DLBCL
## DLBCL_56 DLBCL DLBCL
## DLBCL_58 DLBCL DLBCL
## FL_14    DLBCL    FL
## DLBCL_1  DLBCL DLBCL
## DLBCL_26    FL DLBCL
## DLBCL_29    FL DLBCL
## DLBCL_43 DLBCL DLBCL
## DLBCL_50 DLBCL DLBCL
## FL_8     DLBCL    FL
## FL_15       FL    FL
## DLBCL_2  DLBCL DLBCL
## DLBCL_7  DLBCL DLBCL
## DLBCL_48 DLBCL DLBCL
## DLBCL_55 DLBCL DLBCL
## FL_4        FL    FL
## FL_7        FL    FL
## FL_13       FL    FL
## DLBCL_21 DLBCL DLBCL
## DLBCL_24 DLBCL DLBCL
## DLBCL_30 DLBCL DLBCL
## DLBCL_31 DLBCL DLBCL
## DLBCL_34 DLBCL DLBCL
## DLBCL_46 DLBCL DLBCL
## DLBCL_49 DLBCL DLBCL

计算模型效果评估矩阵（也称混淆矩阵）。准确性值为0.8581，OOB 的错误率是88.31%，相差不大。但Kappa值不算高0.5614，这也是数据集中两个分组的样本数目不均衡导致的。

library(caret)
caret::confusionMatrix(kfold_estimate$preds, kfold_estimate$real)

## Confusion Matrix and Statistics
## 
##           Reference
## Prediction DLBCL FL
##      DLBCL    56  9
##      FL        2 10
##                                           
##                Accuracy : 0.8571          
##                  95% CI : (0.7587, 0.9265)
##     No Information Rate : 0.7532          
##     P-Value [Acc > NIR] : 0.01936         
##                                           
##                   Kappa : 0.5614          
##                                           
##  Mcnemar's Test P-Value : 0.07044         
##                                           
##             Sensitivity : 0.9655          
##             Specificity : 0.5263          
##          Pos Pred Value : 0.8615          
##          Neg Pred Value : 0.8333          
##              Prevalence : 0.7532          
##          Detection Rate : 0.7273          
##    Detection Prevalence : 0.8442          
##       Balanced Accuracy : 0.7459          
##                                           
##        'Positive' Class : DLBCL           
## 

# 结果如下

其它指标前面大都有讲述或?confusionMatrix可看到对应的计算公式。

重点看下Kappa系数，其也是评估分类准确性的一个指标。在模型评估指标一文有提到，准确性值在各个分类样本不平衡时会更多偏向样品多的类。而Kappa系数则可以综合评估这种不平衡性。Kappa系数在-1和1之间，值越大表示模型性能越好。

Kappa=0说明模型和瞎猜差不多。
Kappa>0.4说明模型还行。
Kappa>0.4说明模型挺好的。
这几个标准未找到确切文献，仅供参考来理解 Kappa 系数。

其计算公式如下：

往期精品(点击图片直达文字对应教程)

后台回复“生信宝典福利第一波”或点击阅读原文获取教程合集

（请备注姓名-学校/企业-职务等）

本文链接：https://blog.csdn.net/qazplm12_3/article/details/113577864

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

leetcode 172. 阶乘后的零-程序员宅基地

文章浏览阅读63次。题目给定一个整数 n，返回 n! 结果尾数中零的数量。解题思路每个0都是由2 * 5得来的，相当于要求n!分解成质因子后2 * 5的数目，由于n中2的数目肯定是要大于5的数目，所以我们只需要求出n!中5的数目。C++代码class Solution {public: int trailingZeroes(int n) { ...

Day15-【Java SE进阶】IO流（一）：File、IO流概述、File文件对象的创建、字节输入输出流FileInputStream FileoutputStream、释放资源。_outputstream释放-程序员宅基地

文章浏览阅读992次，点赞27次，收藏15次。UTF-8是Unicode字符集的一种编码方案，采取可变长编码方案，共分四个长度区:1个字节，2个字节，3个字节，4个字节。文件字节输入流：每次读取多个字节到字节数组中去，返回读取的字节数量，读取完毕会返回-1。注意1:字符编码时使用的字符集，和解码时使用的字符集必须一致，否则会出现乱码。定义一个与文件一样大的字节数组，一次性读取完文件的全部字节。UTF-8字符集:汉字占3个字节，英文、数字占1个字节。GBK字符集:汉字占2个字节，英文、数字占1个字节。GBK规定:汉字的第一个字节的第一位必须是1。_outputstream释放

jeecgboot重新登录_jeecg 登录自动退出-程序员宅基地

文章浏览阅读1.8k次，点赞3次，收藏3次。解决jeecgboot每次登录进去都会弹出请重新登录问题，在utils文件下找到request.js文件注释这段代码即可_jeecg 登录自动退出

数据中心供配电系统负荷计算实例分析-程序员宅基地

文章浏览阅读3.4k次。我国目前普遍采用需要系数法和二项式系数法确定用电设备的负荷，其中需要系数法是国际上普遍采用的确定计算负荷的方法，最为简便;而二项式系数法在确定设备台数较少且各台设备容量差..._数据中心用电负荷统计变压器

HTML5期末大作业：网页制作代码网站设计——人电影网站(5页) HTML+CSS+JavaScript 学生DW网页设计作业成品 dreamweaver作业静态HTML网页设计模板_网页设计成品百度网盘-程序员宅基地

文章浏览阅读7k次，点赞4次，收藏46次。HTML5期末大作业：网页制作代码网站设计——人电影网站(5页) HTML+CSS+JavaScript 学生DW网页设计作业成品 dreamweaver作业静态HTML网页设计模板常见网页设计作业题材有个人、美食、公司、学校、旅游、电商、宠物、电器、茶叶、家居、酒店、舞蹈、动漫、明星、服装、体育、化妆品、物流、环保、书籍、婚纱、军事、游戏、节日、戒烟、电影、摄影、文化、家乡、鲜花、礼品、汽车、其他等网页设计题目, A+水平作业_网页设计成品百度网盘

【Jailhouse 文章】Look Mum, no VM Exits_jailhouse sr-iov-程序员宅基地

文章浏览阅读392次。jailhouse 文章翻译，Look Mum, no VM Exits!_jailhouse sr-iov

随便推点

chatgpt赋能python：Python怎么删除文件中的某一行_python 删除文件特定几行-程序员宅基地

文章浏览阅读751次。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。AI职场汇报智能办公文案写作效率提升教程专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。_python 删除文件特定几行

Java过滤特殊字符的正则表达式_java正则表达式过滤特殊字符-程序员宅基地

文章浏览阅读2.1k次。【代码】Java过滤特殊字符的正则表达式。_java正则表达式过滤特殊字符

CSS中设置背景的7个属性及简写background注意点_background设置背景图片-程序员宅基地

文章浏览阅读5.7k次，点赞4次，收藏17次。css中背景的设置至关重要，也是一个难点，因为属性众多，对应的属性值也比较多，这里详细的列举了背景相关的7个属性及对应的属性值，并附上演示代码，后期要用的话，可以随时查看，那我们坐稳开车了······1: background-color 设置背景颜色2:background-image来设置背景图片- 语法：background-image:url(相对路径);-可以同时为一个元素指定背景颜色和背景图片，这样背景颜色将会作为背景图片的底色，一般情况下设置背景..._background设置背景图片

Win10 安装系统跳过创建用户，直接启用 Administrator_windows10msoobe进程-程序员宅基地

文章浏览阅读2.6k次，点赞2次，收藏8次。Win10 安装系统跳过创建用户，直接启用 Administrator_windows10msoobe进程

PyCharm2021安装教程-程序员宅基地

文章浏览阅读10w+次，点赞653次，收藏3k次。Windows安装pycharm教程新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入下载安装PyCharm1、进入官网PyCharm的下载地址：http://www.jetbrains.com/pycharm/downl_pycharm2021

《跨境电商——速卖通搜索排名规则解析与SEO技术》一一1.1　初识速卖通的搜索引擎...-程序员宅基地

文章浏览阅读835次。本节书摘来自异步社区出版社《跨境电商——速卖通搜索排名规则解析与SEO技术》一书中的第1章，第1.1节，作者：冯晓宁，更多章节内容可以访问云栖社区“异步社区”公众号查看。1.1　初识速卖通的搜索引擎1.1.1　初识速卖通搜索作为速卖通卖家都应该知道，速卖通经常被视为“国际版的淘宝”。那么请想一下，普通消费者在淘宝网上购买商品的时候，他的行为应该..._跨境电商速卖通搜索排名规则解析与seo技术 pdf