技术标签: 机器学习
「SIGVC BBS」:最近深度学习受到机器学习和计算机视觉领域中研究人员的高度重视。然而,感觉有关深度学习一些理论并不是太完善。在计算机视觉领域,人们开始热衷于将其作为工具来使用。相对来讲,概率图模型已经有其完善的理论体系了。那么我们是不是也可以完全用概率图模型这套理论来解释深度信念网络和深度Boltzman机?
林达华老师:从数学形式上说,Deep Network和Boltzmann machine可以看成是Graphical Model的特例。但是,目前在Graphical Model体系中所建立的方法,主要适用于分析结构较为简单的模型。而对于有多层latent layer的模型,现有的数学工具尚不能提供非常有效的分析。在NIPS 2012会议期间,我和Ruslan进行了交流。他们目前的主要工作方向还是进一步改善算法的性能(尤其是在大规模问题上的性能),以及推广这类模型的应用,尚未涉及深入的理论分析。
「SIGVC BBS」:基于Dirichlet过程的混合模型解决了确定组件数量的问题,这里面是否引入了其它的问题呢(比方说其它参数的确定)?除了不需要确定组件数量这一点之外,非参数化的模型还有其它哪些优势?
林达华老师:非参数化模型确实引入了其它参数,比如concentration parameter。但是,这个参数和component的个数在实用中是有着不同的影响的。concentration parameter主要传达的是使用者希望形成的聚类粒度。举个简单的例子,比如一组数据存在3个大类,每个大类中有3个相对靠近的子类。这种情况下,聚成3类或者9类都是合理的解。如果concentration parameter设得比较大,最后的结果可能形成9类,如果设得比较小,则可能形成3类。但是,如果人为地固定类数,则很可能导致不合理的结果。
需要强调的是非参数化贝叶斯方法是一个非常博大的方向,目前的研究只是处于起步阶段。而Dirichlet Process mixture model只是非参数方法的一个具体应用。事实上,DP像Gauss distribution一样,都是一种有着良好数学性质的过程(分布),但是它们在实用中都过于理想化了。目前的一个新的研究方向就是建立更为贴近实际的非参数化过程。相比于传统参数化方法而言,非参数化方法的主要优势是允许模型的结构在学习的过程中动态变化(而不仅仅是组件的数量),这种灵活性对于描述处于不断变化中的数据非常重要。当然,如何在更复杂的模型中应用非参数化方法是一个比较新的课题,有很多值得进一步探索的地方。
「SIGVC BBS」:文中后面提到的结构学习是不是这两年比较火的Structured Output Prediction呢?他们的关系如何?Structured Percepton和Structured SVM应该就是属于这个大类吗?结构学习的输出是树结构和图结构吗?结构学习与图像的层次分割或者层次聚类有关系吗?
林达华老师:Structured Prediction (e.g. Structured SVM) 其实属于利用结构,而不是我在文中所指结构学习。在大部分Structured Prediction的应用中,结构是预先固定的(比如哪些变量要用potential联系在一起),学习的过程其实只是优化待定的参数。尽管如此,这些工作本身是非常有价值的,在很多问题中都取得了不错的效果。
我在文中所提到的结构学习是指连结构本身都是不固定的,需要从数据中去学习。一般情况下,学习输出的是图或者树的结构(以及相关参数)。这个topic其实历史很长了,早期的代表性工作就是chow-liu tree。这是一种利用信息量计算寻找最优树结构来描述数据的算法。Alan Willsky的小组近几年在这个方向取得了很多进展。但是,总体而言这个方向仍旧非常困难,大部分工作属于探索性的,并不特别成熟。目前在Vision中的应用不是特别广泛。但是,我相信,随着一些方法逐步成熟,进入实用阶段,它的应用前景是非常不错的。
「SIGVC BBS」:文中提到了Convolutional Deep Network、Deep Belief Network、Deep Boltzmann Machine等近年炙手可热的神经网络方法。那么,神经网络和概率图模型是不是本质上完全是一回事,只是观察角度和历史发展不同?感觉它们很多地方都很相似。深度学习里RBM学习的训练算法与概率图模型的学习推理算法有什么联系和区别吗?他们的结构模型有什么联系和区别吗?
林达华老师:这两类模型所使用的数学方法是非常不同的。Graphical model的很多推断和学习方法都有很深的数学根基。通过近十几年的努力,大家已经逐步建立起整套的方法论体系对相关算法进行分析。Deep Learning目前并没有什么有效的分析方法。Deep learning取得很好的性能,其中很多技巧性的方法(trick)起到了重要作用。至于为什么这些trick能导致更好的性能,目前还未能有一个很好的解释。
我个人看来,这些技巧其实是很有价值的:一方面,它们确实在实践中提高了性能;另外一方面,它们为理论上的探索提出了问题。但是,我觉得,有效回答这些问题需要新的数学工具(新的数学分析方法),这看来不是近期内能做到的。
「SIGVC BBS」:在一些论文中看到,采样的方法(如Gibbs采样)也有其缺点,一个是计算量比较大(computationally intensive),另一个是收敛检测比较难。不知道这些说法是否有道理,或者目前这些问题是否有得到解决?
林达华老师:这里提到的两个问题确实是Sampling的两个主要的困难。对于这些问题,过去几十年取得了很多进展,提出了很多新的采样方法,但是困难仍然很大。但是,采样能提供整个分布的信息,而且有渐近(asymptotic)的理论保证。这在很多情况下是一般的optimization方法做不到的。最近有新的研究尝试结合Sampling和Optimization,在特定问题上有一些有趣的结果——比如,George Papandreou的Perturb-and-MAP.
「SIGVC BBS」:在计算机视觉中,视觉目标跟踪问题已经用到了动态贝叶斯网络方法。一些最近发表的自然图像分割方法也用到LDA(Latent Dirichlet Allocation)。在受限的理想数据条件下,这些方法都取得了较好的结果。但是,不得不承认,我们在研究和应用的过程中,在心理上首先对应用概率图模型有所畏惧(这里除我们已经用得较多较熟悉的MRF、CRF和Dynamic Bayesian network based visual tracking—condensation之外)。主要的解释可能有:一方面,它不象很多正则化方法那样其细节能被自我掌握、观测和控制;另一方面,对于一个新的问题,我们需要不停地问自己:什么样的设计(图)是最好的。从而,在很多情况下,我们更愿意选择使用那些正则化方法。比如,对小规模人脸识别,我们会选择PCA+LAD(SVM),对大一点的规模我们会考虑“特征选择+adaboost”框架。就计算机视觉,能否从实践的角度给我们一点关于使用概率图模型的建议。另外,在计算机视觉中,什么样的问题更适合于采用概率图模型方法来解决。
林达华老师:首先,Graphical model和其它的方法一样,只是一种数学工具。对于解决问题而言,最重要的是选择合适的工具,而不一定要选看上去高深的方法。对于普通的分类问题,传统的SVM, Boost仍不失为最有效的方法。
Graphical model通常应用在问题本身带有多个相互联系的变量的时候。这个时候Graphical model提供了一种表达方式让你去表达这些联系。我觉得并不必要去寻求最优的设计图,事实上,没有人知道什么样的图才是最优的。实践中,我们通常是根据问题本身建立一个能比较自然地表达问题结构的图,然后通过实验了验证这个图是不是合适的。如果不合适,可以根据结果分析原因对图做出修正。
举个具体的例子,比如对一个比赛视频进行分析。那么可能涉及多个变量:摄像机的角度,背景,运动员的动作等等。那么这个问题可能就设计多个未知变量的推断,这些变量间可能存在各种联系。这个时候,Graphical model可能就是一种合适的选择。
值得注意的是,选择合适的图有时候也需要一些经验。比如分布的选择上要注意形成conjugate,这样往往容易得到简易的推断公式。了解各种分布的特性以及它们可能对最后结果的影响也是有帮助的。
转载链接:http://www.sigvc.org/bbs/thread-728-1-1.html
文章浏览阅读927次。相信大家都在开始学ASP.NET的时候都会被它里面的几个属性搞得晕头转向,本文向各位学者介绍AutoPostBack和IsPostBack以及EnableViewState三者的运用以及区别,话不多说,让咱们来看例子来说明问题1.IsPostBack新建一个网站,在页面放置一个DropDownList和一个按钮,我希望点击按钮之后添加往DropDownList之中添加一条内容//Def_autopostback属性与ispostback属性的区别
文章浏览阅读2.1k次。eNSP模拟器路由器无法正常启动一直显示“#”——问题解决方法_ensp启动路由器一直显示井号 win7
文章浏览阅读963次。Think: 引号转换题, 因为不知道长度,所以用getchar() 但是不明白 为什么代码 在编译器上会 报错。。。 但是 提交是AC的。。 所以思路就是,读取字符然后判断时候是 ” , 如果是的话在判断 是第几次出现(也就是判断 是左 还是 右 引号),然后 改变 输出字符。 题目虽然很长 但是是水题 。。。Problem Description TEX is a type_c++tex quotes
文章浏览阅读1.5k次。创建 RichTextBoxPrintCtrl 控件下面的示例介绍了如何扩展 RichTextBox 类,以及如何使用 EM_FORMATRANGE 打印 RichTextBox 控件的内容。1.在 Visual C# .NET 中,新建一个名为 RichTextBoxPrintCtrl 的类库项目。默认情况下创建 Class1.cs。2.将 Class1._richtextbox中的图片可以打印吗
文章浏览阅读662次。添加以下代码即可android:scrollbars="vertical"其他办法无效._androidx 滚动条
文章浏览阅读525次。###重新创建索引SQL> CREATE INDEX rname_idx2 ON hr.region s (region_name)3 PARALLEL 4;索引丢失时,更为快速、简单的方法是重新创建而不是尝试恢复索引###重新创建口令验证文件1. 使用OS 验证登录到数据库。2. 将REMOTE_LOGIN_PASSWORDFILE参数设置为NONE 并重新启动数据库。_lix重启数据库命令
文章浏览阅读154次。目录1、背景介绍2、本篇博客的目的3、新增一个7002端口的EurekaServer模块,展示一下这个模块的文件结构4、新增一个7002端口的EurekaServer模块,展示一下这个模块的POM文件5、新增一个7002端口的EurekaServer模块,展示一下这个模块的application文件6、新增一个7002端口的EurekaServer模块,展示一下这个模块的主启动类。我的上一篇博客:初学SpringCloud:建立使用90端口的微服务模块,注册到服务注册中心_eureka如何新增server节点到集群里
文章浏览阅读1k次。模糊推理系统编辑器用于设计和显示模糊推理系统的一些基本信息,如推理系统的名称,输入、输出变量的个数与名称,模糊推理系统的类型、解模糊方法等。该编辑器提供一个友好的人机图形交互环境,用来设计和修改模糊推理系中各语言变量对应的隶属度函数的相关参数,如隶属度函数的形状、范围、论域大小等,系统提供的隶属度函数有三角、梯形、高斯形、钟形等,也可用户自行定义。打开模糊推理系统编辑器,在MATLAB的命令窗(command window)内键入:fuzzy 命令,弹出模糊推理系统编辑器界面,_matlab仿真中有模糊pid模块吗
文章浏览阅读117次。基本概念编程语言总共有两大类,一类以汇编语言和c语言为首的最底层的用于嵌入式编程的面向过程编程,另一类就是以JAVA、C++、Python为首的面向对象编程。面向编程和面向对象的区别有很多,优缺点也很明显。1.运行效率,面向过程的执行效率比面向对象的执行效率更高,因为他更适用于底层的硬件上,去命令计算机做事情,面向对象是基于操作系统来控制电脑进行执行的,效率慢一点,但是思想更高级。2.运用场景,软硬件编程的区别三大特征封装、继承、多态或者可以吧抽象也加上1.封装:把相关的数据封装成一个“类”_java实验5面向对象基础
文章浏览阅读2.1k次。上一周一直在看有关微信小程序,订阅号,服务号,等微信的应用,没来的及继续学习,今个学习到javaweb 的servlet ,觉得有个地方,可以大家稍微注意一下,就是消息请求当中,GET 与 POST 这两个消息请求的方式,他们的区别在哪里,平常咱们都用的啥~首先,尼玛哥在网上查阅资料,大概是有以下几点的区别:1.Post传输的数据量大,可以达到2M,而Get方法由于受到URL长度的限制_get有局限性吗?
文章浏览阅读1.3k次。二:敢死队,不管新的还是老的,让人工智能知道我们大量的数据,越多越乱越好,这样我们做什么都是对的,因为我们什么都做,但不能一下太多,要有一个比例,比如10%到30%,偶尔还得停一下,给人工智能来一个丈二和尚。这种提交就通过了,但是很快又有风控,也是重复上面的步骤,就要你提交资料了,就是一些身份证、营业执照,单号就发快递面单就行,审核也很快,还是不行就联系客服协助处理。如果你的收款码用支付宝扫码,还能正常拉起,然后付1分钱,去账单里,就有下图这个单号了,复制这个去填上就行,可以一直保留,能一直用。_支付宝风控规则
文章浏览阅读261次。我们基于Spring Boot和微信小程序开发的失物招领小程序旨在提供一个便捷的平台,帮助用户在失去物品或找到物品时能够迅速发布或查询相关信息。随着城市化进程的加速和人口的增长,失物招领成为了一个常见的需求,但传统的失物招领方式存在着信息传递不及时、不便捷等问题。因此,我们致力于通过技术手段解决这些问题,为用户提供一个高效、安全、便捷的失物招领平台。_微信小程序失物招领