近日,由博士生陈一萱和硕士生施渝斌为共同第一作者的论文“Over-parameterized Model Optimization with Polyak-{\L}ojasiewicz Condition”被ICLR2023录用。该文利用PL条件(Polyak-{\L}ojasiewicz Condition)对超参数模型(Over-parameterized model)的训练过程进行分析,提出模型的收敛速度和泛化能力被模型的条件数(Condition Number)所约束。并提出了一种基于模型剪枝操作的模型优化算法,该算法在整体模型训练过程中,以增大模型整体条件数为目标,对模型中的参数进行剪枝。实验研究表明,本文提出的算法在多个模型和多个任务中,可以提高模型训练速度并改善模型泛化能力。
ICLR会议全称为International Conference on Learning Representations。该会议目前的谷歌学术h5指数已经排到了全榜第 9 名,已超过众多CCF-A类会议,被认为是深度学习领域的顶级会议。