深度学习损失函数地貌分析研究进展

分类： 数学 >> 控制和优化 提交时间： 2021-11-29

梁若冰 刘波 孙越泓

摘要： 在机器学习和数学优化研究领域, 深度学习优化问题易优性的数学解释极具挑战性. 损失函数存在高维、非凸、不光滑等特质性, 然而也能通过梯度下降法搜索到全局最优值. 损失函数地貌分析成为揭示深度学习优化问题易优性本质的重要研究方向. 为促进可解释、可信的深度学 习在更关键领域的应用, 本文回顾了损失函数地貌特征（局部极小点的数量和空间分布、最优点之间的连通性、临界点的最优性）、梯度下降法收敛性、以及损失函数地貌可视化等方面的研究进展和挑战.

同行评议状态:待评议

 点击量 10581  下载量 962  评论