刊名：《运筹学学报》，2022年，26(1)：1-22.
题名： 小批量随机块坐标下降算法
作者： 胡佳, 郭田德, 韩丛英.
单位：1. 中国科学院大学数学科学学院, 北京 100049
2. 中国科学院大数据挖掘与知识管理重点实验室, 北京 100190
摘要：针对机器学习中广泛存在的一类问题：结构化随机优化问题（其中“结构化”是指问题的可行域具有块状结构，且目标函数的非光滑正则化部分在变量块之间是可分离的），我们研究了小批量随机块坐标下降算法（mSBD）。按照求解非复合问题和复合问题分别给出了基本的mSBD和它的变体，对于非复合问题，分析了算法在没有一致有界梯度方差假设情况下的收敛性质。而对于复合问题，在不需要通常的Lipschitz梯度连续性假设条件下得到了算法的收敛性。最后通过数值实验验证了mSBD的有效性。
关键词：块坐标下降, 随机近似, 随机(复合)优化, Hölder连续, 非光滑, 非凸优化
全文链接：https://www.ort.shu.edu.cn/CN/10.15960/j.cnki.issn.1007-6093.2022.01.001