机器学习中,一般将样本数据分成独立的三部分:训练集、验证集和测试集。其中验证集在机器学习中所起到的作用是:开发模型总需要调节模型的参数,而整个调节过程需要在验证集数据上运行训练的模型,从而给出其表现的反馈信号来修改网络模型及参数。
然而在对样本数据的划分上,往往受限于一些过时的规则以及思维定式的限制,在划分验证集以及解决验证集目前存在的一些问题上,面临着比较大的阻碍。
数据科学家 Ray Heberer 专门撰写了一篇文章来介绍验证集目前存在的一些问题,并表达了自己的看法:验证集如今变得不再有新意。对此,他提出用心理模型来改善验证集当前的困局。