ICML 2020 | 第四范式、清华大学等基于AutoML的深度网络记忆性自动化挖掘
样本选择方法是噪声标签鲁棒学习的常用方法。然而,如何正确地控制选择过程,使深度网络能够从记忆效应中获益是一大难题。本次研究中,受自动机器学习(AutoML)的成功启发,来自第四范式、清华大学等机构的研究者将此问题建模为一个函数逼近问题。具体来说,我们基于记忆效应的一般模式设计了一个特定领域的搜索空间,并提出了一种新的牛顿算法来有效地解决双层优化问题,并进一步对算法进行了理论分析,保证了算法对临界点的良好逼近。实验结果表明,该方法优于现有的噪声标签学习方法,并且比现有的 AutoML 算法有更高的效率。