lovetheme 2018-06-21
周志华教授去年提出了“深度森林”,吸引了很多研究者的关注,这是一种基于决策树森林而非神经网络的深度学习模型。本月,周志华团队又提出了多层梯度提升决策树模型,它通过堆叠多个回归 GBDT 层作为构建块,并探索了其学习层级表征的能力。此外,与层级表征的神经网络不同,他们提出的方法并不要求每一层都是可微,也不需要使用反向传播更新参数。因此,多层分布式表征学习不仅有深度神经网络,同时还有决策树!
7月28日至29日中国人工智能大会(CCAI2018)将于深圳举行,届时周志华教授将发表题为《深度森林初探》的精彩报告,向国内外各界人士分享他对于深度学习要素探讨的最新观点。
在此之前,我们梳理了周志华教授在人工智能领域的主要思考和精华内容、帮助大家跟随周教授聚焦AI。
周志华,南京大学计算机科学与技术系主任、人工智能学院院长、欧洲科学院外籍院士、Fellow of the ACM, AAAI, AAAS, IEEE, IAPR, IET/IEE, CCF, CAAI
机器学习,从深度神经网络到深度森林
“现在我们处于一个大数据的时代,但是我想现在所有人都非常清楚,这个大数据并不意味着真正大的价值,要得到数据里面的价值,我们就必须要进行有效的数据分析,而今天我们要通过计算机来进行数据分析,就必须要进行机器学习。”周志华教授曾多次发表演讲阐述他对于机器学习的前沿思考。
关于深度学习是什么的问题,周志华教授曾通过一个案例向大家解释。这个例子描述的是,有一个很著名的学会“Siam”,它的旗舰报《Siam News》里面谈到机器学习深度学习就是一个“子女”。周教授进一步谈何为“深度”:生理学上能够得到一点基本的启发,那就是一个细胞可以得到很多的信号,这个现象在1943年被两位学者总结成简单的数学公式:几个加和,再减掉一个数,再用函数处理一下。这个公式一直到今天还在使用。今天看到这么复杂的深度学习系统,它的奥秘是什么呢?周教授认为,所谓的神经网络也好,深度神经网络也好,最基本的单元就是这样一个简单的函数。
周教授还在论文中指出,近十年来,深度神经网络在机器学习领域取得了显著进展。多层表征被认为是深度神经网络的关键要素,通过构建分层或「深层」结构,该模型能够在有监督或无监督的环境下从原始数据中学习良好的表征,这被认为是其成功的关键因素。成功的应用领域包括计算机视觉、语音识别、自然语言处理等。
同时,尽管不可微模型如梯度提升决策树(gradient boosting decision tree,GBDT)是建模离散或表格数据的主要方法,但是它们很难整合这种表征学习能力。周志华团队提出的多层 GBDT 森林(mGBDT),通过堆叠多个回归 GBDT 层作为构建块,探索学习层级表征的能力,该模型可以使用层间目标传播的变体进行联合训练,无需推导反向传播和可微性,实验和可视化均证明该模型在性能和表征学习能力方面的有效性。
人工智能产业发展,真正需要的是人才
除了研究机器学习的前沿课题,周志华教授也非常关注人工智能的产业发展。尽管人工智能技术已经在很多产业广泛应用,但在周教授看来,人工智能技术主要的应用领域就是互联网行业。他认为机器学习技术提供了利用数据的方法,可以解决由“人”这个主体在各行各业积累下的大量数据。“未来的人工智能技术就应该像电力一样,会进入所有的行业。”周教授指出。
人工智能产业发展最核心的要素是什么?周教授认为真正需要的是人才。
周教授表示,特别是和一般的软件产业比,人工智能产业是一个非常凸现个人才智的行业。人工智能是软件业的明珠,个别人的聪明才智在哪个方面取得算法上的突破,就会真的提高生产力。人工智能行业的特点,决定了人工智能的人才培养特别重要。在全球争抢人工智能人才的年代,高水平人工智能人才培养的造血能力会导致产业核心竞争力的差异,而人工智能人才培养基地也会直接促进人工智能产业人才积聚形成。
即将要举行的中国人工智能大会(CCAI2018)历经三届沉淀,已经成为国内人工智能领域产、学、研紧密结合的高端前沿交流平台,通过汇聚全球AI领域的顶级专家展开精彩演讲,助力国家培养高水平人工智能人才。周志华教授将在大会主报告中对深度学习的要素进行讨论,并认为深度学习未必一定要通过神经网络模型实现。周志华教授将介绍其在深度森林方面的初步探索,这是一种基于决策树森林而非神经网络的深度学习模型。
周志华教授的报告会有怎样别开生面的前沿观点呢?让我们屏气等待,共同见证AI大时代的每一次思想之花绽放!
周教授论文链接:
https://arxiv.org/pdf/1806.00007.pdf