五分钟了解机器学习的基本概念-程序员宅基地

技术标签：基于matlab的机器学习机器学习人工智能

1、人工智能、机器学习、深度学习之间的关系

2、什么是机器学习？

3、机器学习的常见问题之过拟合

4、如何克服过拟合？

5、机器学习的类型

6、分类和回归

1、人工智能、机器学习、深度学习之间的关系

总的来说，深度学习时机器学习的一个子类，而机器学习又是人工智能的一个子类。

人工智能是一个非常宽泛的概念，它可以代指任何形式的蕴含某些智能特性的技术，并非特指某一特定技术领域。而机器学习则指一个特定领域，用于指代人工智能的一个特定类别。而进一步的，机器学习也包含很多技术，深度学习就是其中之一。

2、什么是机器学习？

简单地说，机器学习其实就是一种对数据的建模技术，（就我个人看来也像是一种数据处理的算法模型），是一种从数据抽象出模型的技术。数据可以是各种信息，如文档、图像等等，模型就是机器学习的产物。

//就我个人的理解来看，机器学习就是通过海量的数据集合，来对你所建立的模型进行训练，使其达到一个预期的效果，最终生成一个可靠的模型。

在完成一个模型的建模之后，可以完成推理。（即根据新的数据输入，通过模型后得到一个输出）。而训练数据和输入数据之间存在的差异是机器学习面临的结构下挑战，也是一切问题的根源。

机器学习无法基于错误的训练数据来实现预期目标，就像给新生的婴儿几个苹果，一会儿告诉你是苹果，一会儿告诉你是梨子，一会儿又说是西瓜，他永远不会知道到底什么是苹果。所以，获取能够充分反应实际领域据特征的无偏训练数据至关重要。

这里需要提到一个概念，泛化（generalization）：确保模型对于训练数据与输入数据能够获得一致性能的处理过程。机器学习能否成功很大程度上取决于泛化的有效程度。

3、机器学习的常见问题之过拟合

泛化过程失效的主要诱因之一就是过拟合。这是一个训练模型时十分常见的问题。下面举一个例子进行简单的描述。

例如，我们需要利用机器学习对两类数据点进行分类。我们以两类数据的特征坐标画出一幅散点图：

此时我们需要建立一个模型对两者进行分类，实际上也就是得到一条区分两者的边界

如图所示，虽然存在一定的数据点偏离，但曲线似乎是一条比较合理的边界。

如果我们要以完美的边界对所有数据点进行划分呢？能否正确地反映普适的行为特征呢？

完美的边界如上图所示，针对这样的模型，如果有一个新的数据（正方形）输入，能否得到一个准确的划分呢？

这个完美的边界模型将黑色方形划分为△，但实际上它应该属于黑色圆更加合理，为什么对训练数据的100%准确率匹配会产生问题呢？

其实，在大量的训练数据中，存在的大量的噪声，就比如上述的一些偏离了的数据点。但机器学习无法区分噪声，如果过分要求区分所有训练集数据，他将会生成一个不合理的模型，而对后续所需要判定的实际数据的判定产生误差。

如果认为训练数据中的每一个元素都是准确的，并且精准匹配模型，这将会得到一个普适性较低的模型，这就是过拟合。就比如，你拿出三个苹果，十分强硬地和婴儿宝宝说这就是苹果，其他的就算很像也不是苹果，只有这三个才是苹果。这样，如果再拿来一个新的没有见过的苹果，婴儿宝宝也会觉得这个东西不是刚见过的苹果，所以判断失误，这其实就是过拟合的概念。

4、如何克服过拟合？

这里介绍两种克服过拟合问题的典型方法：正则化和验证。

（1）正则化：是一种力求构建极简模型的数值方法。精简后的模型能以较小的性能代价，避免过拟合的影响。类似于前文讨论的例子，复杂的曲线更倾向于过拟合。而简单的曲线虽然未能正确划分部分数据点，但能更加好的反映总体特征。

（2）验证：验证是指预留一部分训练数据，并利用其监控模型性能的过程。验证数据集不参与训练过程。如果训练过程所生成的模型对预留输入数据的处理效果不佳，则认为存在过拟合。

验证的方法十分常见，也拿之前说的认识苹果来说，相当于你在教婴儿“这2个是苹果”之后，再拿出另一个苹果出来，如果婴儿宝宝能认出来也是苹果，说明教的效果好，反之如果不认识，那就是过拟合的意思了。

在利用验证技术的机器学习过程包括以下几步：

（1）将训练数据分为两组：一组用于训练，另一组用于验证。根据经验规律，训练数据与验证数据的比例为8:2；

（2）使用训练数据对模型进行训练；

（3）利用验证数据评估模型效果。如果效果满意。结束训练；如果效果不显著，修改模型重新进行训练。

这里再介绍一种验证方法——交叉验证

简单的说，交叉验证就是不保留数据的原始划分，而是重复划分数据。比例一定，但数据划分范围不同，是从训练过程中随机选出的。

5、机器学习的类型

主要分以下三个大类：

监督学习的应用最为广泛。在监督学习中，每个训练数据集均由输入与标准输出构成的数据对构成。标准输出是模型对该输入应生成的预期结果。

{ input , correct output }

类似于之前的教婴儿认识苹果，苹果这个物体就是数据，它包含苹果的各种特征，比如颜色、大小、触感等等，对用的输出结果就是苹果，婴儿需要学会通过大脑收集到的信息对其进行判断。这就是监督学习。

而在无监督学习中，训练数据仅包含输入，而不包含标准输出。

{ input }

无监督学习通常用于分析数据的特征，并对数据进行预处理。再类比于教婴儿学习苹果，无监督学习相当于没有人告诉宝宝啥是苹果和梨子，而是把一堆水果塞给宝宝，让他自己根据特征分出两个种类，这个过程就相当于提取物体的关键特征。

增强学习利用输入、某些输出以及评分组成的数据集作为训练数据。它通常用在需要优化折中的情况，例如控制和博弈问题。

{ input，some output， grade for this output }

6、分类和回归

监督学习最常见的两类应用就是分类（classification）和回归（regression）。

分类可以说是最主流的应用了，它所关注的就是寻找数据所属的类别。比如数字识别、面部识别等等。类似的，分类问题的训练数据如下

{ input ， class} //class 种类即对应这数据的标准输出。

回归不判定类别，而是预测数值。针对对以后数据的学习，得到一个模型，可对新输入的数据进行值的预测。比如天气预测、股票预测等等。

总之，分类是分析研究利用模型来判别输入数据属于哪一种类别；回归是分析利用模型来估计数据的趋势。

DONEDONEDONE!!!

本文链接：https://blog.csdn.net/NJUzzf98/article/details/124992031

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

从零开始搭建Hadoop_创建一个hadoop项目-程序员宅基地

文章浏览阅读331次。第一部分：准备工作1 安装虚拟机2 安装centos73 安装JDK以上三步是准备工作，至此已经完成一台已安装JDK的主机第二部分：准备３台虚拟机以下所有工作最好都在root权限下操作1 克隆上面已经有一台虚拟机了,现在对master进行克隆,克隆出另外2台子机;1.1 进行克隆21.2 下一步1.3 下一步1.4 下一步1.5 根据子机需要,命名和安装路径1.6 ..._创建一个hadoop项目

心脏滴血漏洞HeartBleed CVE-2014-0160深入代码层面的分析_heartbleed代码分析-程序员宅基地

文章浏览阅读1.7k次。心脏滴血漏洞HeartBleed CVE-2014-0160 是由heartbeat功能引入的，本文从深入码层面的分析该漏洞产生的原因_heartbleed代码分析

java读取ofd文档内容_ofd电子文档内容分析工具（分析文档、签章和证书）-程序员宅基地

文章浏览阅读1.4k次。前言ofd是国家文档标准，其对标的文档格式是pdf。ofd文档是容器格式文件，ofd其实就是压缩包。将ofd文件后缀改为.zip，解压后可看到文件包含的内容。ofd文件分析工具下载：点我下载。ofd文件解压后，可以看到如下内容：对于xml文件，可以用文本工具查看。但是对于印章文件(Seal.esl)、签名文件(SignedValue.dat)就无法查看其内容了。本人开发一款ofd内容查看器，..._signedvalue.dat

基于FPGA的数据采集系统（一）_基于fpga的信息采集-程序员宅基地

文章浏览阅读1.8w次，点赞29次，收藏313次。整体系统设计本设计主要是对ADC和DAC的使用，主要实现功能流程为：首先通过串口向FPGA发送控制信号，控制DAC芯片tlv5618进行DA装换，转换的数据存在ROM中，转换开始时读取ROM中数据进行读取转换。其次用按键控制adc128s052进行模数转换100次，模数转换数据存储到FIFO中，再从FIFO中读取数据通过串口输出显示在pc上。其整体系统框图如下：图1：FPGA数据采集系统框图从图中可以看出，该系统主要包括9个模块：串口接收模块、按键消抖模块、按键控制模块、ROM模块、D.._基于fpga的信息采集

微服务 spring cloud zuul com.netflix.zuul.exception.ZuulException GENERAL-程序员宅基地

文章浏览阅读2.5w次。1.背景错误信息：-- [http-nio-9904-exec-5] o.s.c.n.z.filters.post.SendErrorFilter : Error during filteringcom.netflix.zuul.exception.ZuulException: Forwarding error at org.springframework.cloud..._com.netflix.zuul.exception.zuulexception

邻接矩阵-建立图-程序员宅基地

文章浏览阅读358次。1.介绍图的相关概念　　图是由顶点的有穷非空集和一个描述顶点之间关系-边（或者弧）的集合组成。通常，图中的数据元素被称为顶点，顶点间的关系用边表示，图通常用字母G表示，图的顶点通常用字母V表示，所以图可以定义为:　　G=(V,E)其中，V(G)是图中顶点的有穷非空集合，E(G)是V(G)中顶点的边的有穷集合1.1 无向图：图中任意两个顶点构成的边是没有方向的1.2 有向图：图中..._给定一个邻接矩阵未必能够造出一个图

随便推点

MDT2012部署系列之11 WDS安装与配置-程序员宅基地

文章浏览阅读321次。（十二）、WDS服务器安装通过前面的测试我们会发现，每次安装的时候需要加域光盘映像，这是一个比较麻烦的事情，试想一个上万个的公司，你天天带着一个光盘与光驱去给别人装系统，这将是一个多么痛苦的事情啊，有什么方法可以解决这个问题了？答案是肯定的，下面我们就来简单说一下。WDS服务器，它是Windows自带的一个免费的基于系统本身角色的一个功能，它主要提供一种简单、安全的通过网络快速、远程将Window..._doc server2012上通过wds+mdt无人值守部署win11系统.doc

python--xlrd/xlwt/xlutils_xlutils模块可以读xlsx吗-程序员宅基地

文章浏览阅读219次。python–xlrd/xlwt/xlutilsxlrd只能读取，不能改,支持 xlsx和xls 格式xlwt只能改，不能读xlwt只能保存为.xls格式xlutils能将xlrd.Book转为xlwt.Workbook，从而得以在现有xls的基础上修改数据，并创建一个新的xls，实现修改xlrd打开文件import xlrdexcel=xlrd.open_workbook('E:/test.xlsx') 返回值为xlrd.book.Book对象,不能修改获取sheett_xlutils模块可以读xlsx吗

关于新版本selenium定位元素报错：‘WebDriver‘ object has no attribute ‘find_element_by_id‘等问题_unresolved attribute reference 'find_element_by_id-程序员宅基地

文章浏览阅读8.2w次，点赞267次，收藏656次。运行Selenium出现'WebDriver' object has no attribute 'find_element_by_id'或AttributeError: 'WebDriver' object has no attribute 'find_element_by_xpath'等定位元素代码错误，是因为selenium更新到了新的版本，以前的一些语法经过改动。..............._unresolved attribute reference 'find_element_by_id' for class 'webdriver