学生作者：王希梅，高敬涵
https://www.zhuanzhi.ai/paper/2d828976f615c8c8bf691f9235b05fc1
摘要：大规模标记数据集推动深度学习获得广泛应用，但在现实场景中收集足量的标记数据往往耗时耗力。为了降低对标记数据的需求，半监督学习侧重于同时探索标记和未标记数据，而迁移学习旨在将预训练模型微调到目标数据中。然而，从头训练的半监督自训练模型容易被错误的伪标签所误导，而仅仅挖掘有限标记数据的迁移学习方法则面临模型漂移的挑战。为了实现数据高效的深度学习，本文提出的Self-Tuning方法设计了一种新的“伪标签组对比”机制，将标记和未标记数据的探索与预训练模型的迁移统一起来。在多个基准数据集中，Self-Tuning的性能取得大幅提升，例如，在标签比例为15%的Stanford Cars中，Self-Tuning相较标准fine-tuning获得了翻倍的准确率。
arxiv链接：
https://www.zhuanzhi.ai/paper/2d828976f615c8c8bf691f9235b05fc1
专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！
欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源
