主 题: 面向神经网络压缩的稀疏学习与分布式优化
内容简介:以卷积神经网络为代表的深度学习模型往往具有超大的参数规模,在提高学习性能的同时也为模型的稳定性、可解释性和可部署性带来巨大的挑战。在这类高维非凸模型中引入稀疏约束学习机制是解决这类挑战的有效途径之一。同时如何利用分布式计算平台进行高效深度网络压缩训练也是重要问题之一。针对这一系列问题,本报告主要探讨深度神经网络中的结构化稀疏学习及大规模优化方法。将重点介绍一类基于梯度阈值追踪的深度神经网络动态裁剪算法和一类基于近似牛顿估计的分布式神经网络裁剪方法。研究结果表明所提出的稀疏训练方法可以自适应地显著减少卷积神经网络的冗余度,同时保持稠密模型的泛化能力。
报告人: 袁晓彤 教授
时 间: 2019-05-31 15:00
地 点: 竞慧东302
举办单位: 统计与数学学院、澄园书院
内容简介:以卷积神经网络为代表的深度学习模型往往具有超大的参数规模,在提高学习性能的同时也为模型的稳定性、可解释性和可部署性带来巨大的挑战。在这类高维非凸模型中引入稀疏约束学习机制是解决这类挑战的有效途径之一。同时如何利用分布式计算平台进行高效深度网络压缩训练也是重要问题之一。针对这一系列问题,本报告主要探讨深度神经网络中的结构化稀疏学习及大规模优化方法。将重点介绍一类基于梯度阈值追踪的深度神经网络动态裁剪算法和一类基于近似牛顿估计的分布式神经网络裁剪方法。研究结果表明所提出的稀疏训练方法可以自适应地显著减少卷积神经网络的冗余度,同时保持稠密模型的泛化能力。
报告人: 袁晓彤 教授
时 间: 2019-05-31 15:00
地 点: 竞慧东302
举办单位: 统计与数学学院、澄园书院