在大型数据集上训练深度学习模型对其成功至关重要;然而，这些数据集通常包含标签噪声，这可能会显著降低在测试数据集上的分类性能。为了解决这个问题，来自Yildiz技术大学的Enes Dedeoglu, H. Toprak Kesgin和M. Fatih Amasyali教授组成的研究小组开发了一种突破性的方法，称为Adaptive-k，该方法改进了优化过程，并在存在标签噪声的情况下产生了更好的结果。他们的研究发表在2024年8月15日的《计算机科学前沿》杂志上，由高等教育出版社和施普林格·自然联合出版。
Adaptive-k方法通过自适应地确定从小批量中选择用于更新的样本数量，从而更有效地分离噪声样本，并最终提高标签噪声数据集中训练的成功率。这种创新的方法简单、有效，并且不需要预先了解数据集的噪声比、额外的模型训练或显著增加训练时间。Adaptive-k已经证明了它的潜力，通过显示最接近Oracle方法的性能，彻底改变了深度学习模型在噪声数据集上的训练方式，其中噪声样本完全从数据集中去除。
在他们的研究中，该团队将Adaptive-k方法与其他流行的算法(如Vanilla, MKL, Vanilla-MKL和Trimloss)进行了比较，并评估了其与Oracle场景相关的性能，其中所有噪声样本都是已知的并被排除在外。在3个图像数据集和4个文本数据集上进行了实验，证明了Adaptive-k在标签噪声数据集上始终表现更好。此外，Adaptive-k方法与各种优化器(如SGD、SGDM和Adam)兼容。
本研究的主要贡献包括:
•引入Adaptive-k，这是一种用于标签噪声数据集鲁棒训练的新算法，易于实现，不需要额外的模型训练或数据增强。
•Adaptive-k的理论分析以及与MKL算法和SGD算法的比较。•使用Adaptive-k进行高精度噪声比估计，无需预先了解数据集或超参数调整。
•Adaptive-k与Oracle、Vanilla、MKL、Vanilla-MKL和Trimloss算法在多个图像和文本数据集上的经验比较。
未来的研究将集中于改进Adaptive-k方法，探索其他应用，并进一步提高其性能。
DOI: 10.1007 / s11704 - 023 - 2430 - 4
本文来自作者[凌雨诺]投稿，不代表赛奥号立场，如若转载，请注明出处：https://cn.jiangfo.cn/cskp/202505-143.html
评论列表（4条）
我是赛奥号的签约作者“凌雨诺”！
希望本篇文章《自适应k：针对噪声数据集的稳健训练策略》能对你有所帮助！
本站[赛奥号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：在大型数据集上训练深度学习模型对其成功至关重要;然而，这些数据集通常包含标签噪声，这可能会显著降低在测试数据集上的分类性能。为了解决这个问题，来自Yildiz技术大学的En...