社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

深度学习论文被评“创新性不足、工作量不够”怎么办?

AI算法科研paper • 1 周前 • 82 次点击  

投稿时遇到审稿人提出文章创新性不足、工作量不够,该怎么办?

今天我就来分享三种应对方法:下采样策略、归一化策略、改进网络模型。

改进网络模型

增加创新性:

从模型架构和训练策略这两方面入手:

模型架构创新:常见的方法有缝合其他网络、引入注意力、轻量化等,缝合网络加注意力在我之前的文章里详细说过,这边就不多说了。

轻量化策略就是对网络架构的重新设计或优化,比如深度可分离替换一般的3*3卷积,前提是精度不能损失太多,而且模型大小或者推理速度能显著提高。

训练策略创新:通过优化训练策略来提升模型性能也能增加创新性,我们可以选择多任务学习、添加辅助损失

多任务学习能同时学习多个相关任务,在训练过程中直接应用。比如CV方向如果做的是检测,就可以加个分割任务,用分割促检测,具体点就是将分割网络与检测网络共享主干网络,让网络前面部分的参数提前得到有效训练。

这部分如果细说可以有15种方法,不过我建议大家直接看论文,如果不想花时间找可以直接拿我已经整理好了,15种多任务学习方法共84篇参考论文。

需要的同学扫码添加小享

回复【创新工作】无偿获取


辅助损失可以作为正则化项,帮助模型在训练过程中保持稳定的梯度流,同时迫使中间层学习有用的特征表示,比如深度监督,参考yolov9相对yolov7的改进。

增加工作量:

既然要设计新的模型,那现有方法的优缺点得了解吧,还有新模型的实现细节,比如选择合适的模块、确定模块之间的连接方式、设计损失函数等。

再加上在不同数据集上的测试、与现有方法的对比以及消融实验等。另外还需要根据实验结果对模型参数进行调优,找到最优,这个过程基本都要反复多次。

下采样

增加创新性:

可以考虑新的下采样策略,比如自适应下采样、金字塔池化,这类方法能减少特征图的尺寸和计算量,保留更多的有用信息,比平均池化等老方法更有创新性。

另外还可以考虑拓展新的下采样方法的应用场景,比如图像分类、目标检测之类,通过跨领域的应用来增加创新点。

只看文字可能有些难get,大家可以搭配我准备好的下采样高质量paper合集来理解,这些论文都可以直接参考,而且全都有代码,复现搞起。

需要的同学扫码添加小享

回复【创新工作】无偿获取

举其中一篇论文案例:

AutoFocusFormer: Image Segmentation off the Grid

采用自适应下采样和局部注意力机制,专注于图像中更重要的区域,以提高分割任务的性能。

增加工作量:

现有下采样模块的优缺点,还有新方法的实现细节,比如合适的卷积核大小、步长、池化方式等参数,另外还要有大量的实验来验证效果,工作量这不就来了。

还有评估,引入新的下采样后,需要全面评估它的性能,比如在不同数据集上的测试、与现有方法的比较还有消融实验。

归一化

增加创新性:

从技术出发,着眼于归一化技术细节上的优化,就是怎么使用更复杂的归一化函数、结合领域知识的归一化策略,给模型带来性能提升。

从理论出发,探讨它对模型性能的影响机制,再通过实验验证提的这些理论分析的正确性,就可以有理论上的创新了。

另外还有引入新的归一化方法或策略,比如批归一化、组归一化、实例归一化等,这些新的归一化方法本身就是创新点。

这边我也整理好了归一化相关的参考paper合集帮助大家更直观的理解,开源代码也都有。

需要的同学扫码添加小享

回复【创新工作】无偿获取

也举其中一篇论文案例:

BCN: Batch Channel Normalization for Image Classification

批量通道归一化,通过分别沿着(N, H, W)和(C, H, W)轴进行归一化处理,基于自适应参数组合归一化输出,同时利用通道和批量维度的优势,提高神经网络的泛化性能。

增加工作量:

归一化方法中的参数,比如批归一化中的衰减率和动量,对模型性能影响很大,所以需要对这些参数进行细致的调优,分析不同参数设置对模型稳定性和性能的影响。

再加上验证方法有效性的实验设计,包括选择合适的基准数据集、设计对比实验、评估不同归一化方法的性能指标等,工作量不用愁。

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/173728
 
82 次点击