Py学习  »  机器学习算法

VALSE 2023 | 下一代深度学习的思考与若干问题——焦李成专家

FightingCV • 2 年前 • 343 次点击  

关注“FightingCV”公众号

回复“AI”即可获得超100G人工智能的教程

点击进入→ FightingCV交流群
掉在大数据的坑里我们怎么爬出来?

我们有深度!

深度学习七十年

BP 解决非线性异或问题

致敬 1974 Werbos

再发现:Hinton 三巨头提出使用 BP 算法进行表征学习

卷积神经网络雏形 1980 年

再次致敬

思考:深度学习从哪来?又要到哪里去?

神经网络用极多个神经元连接,模拟小脑计算运作的过程

完全是靠学习和训练吗?纯数据驱动

那先验知识在其中有什么用呢?

创新的道路在哪里?

黑盒越来越大,怎么解释呢?解释问题、过程还是结果?

1 有哪些深度学习网络体现了这些功能呢

2 再有大数据你就是小样本,嘿,不要被淹死

3 人脑是智慧 高度非线性,局部 BP 是需要的,但全局更不能少

4 sigmoid 毫无这些特性,表征就不好怎么能学好呢

5 剪枝 & NAS 三个性质怎么解释

6 找到正确的优化的解

7 只有感知够吗,认知起了什么作用?推理、决策

三大过程

Universal Approximation

输入未知,非线性怎么逼近

表征都没出来怎么去学习特征呢

表征理论不是单纯累加模型层数

表征是开始,所以很重要

模型得匹配对

捷径和收敛速度分不开,100 张 V100 能放在火箭上吗

每个变量都是有物理意义的,要作为物理过程计算,brain-inspiring,而不是一个单纯的计算机过程

能量、熵、功率能解释通吗

传统方程探究的时候会研究它们的量纲是否一致,但现在计算机模型做到了吗

该页被特别推荐!

脑科学领域 20 年最新成果,Nature Science,有多少在深度学习模型上体现了

工作1:物理机制结合,Wishart 分布

工作2:对方向奇异性表征探究

工作3: Contourl Net 及其复数域

机器学习和物理学的关联 Physical-Informed / Physical-Inspired

从此开始,拍照已经赶不上翻页的速度:

哈密顿量、拉格朗日量、牛顿莱布尼茨公式

物理信息神经网络

电磁学启发

电路启发:基于霍夫定律

光学神经网络:光电神经网络、全光神经网络

热力学影响

熵原理:求解最优解启示(退火算法)

量子力学:结合了不确定性

进化角度:群体思想、自然免疫、进化计算

体会:NAS 在免疫和进化有很好的潜力,非常有用

超参数优化问题

元学习问题

多思考!

中国人任重道远

作者:煎饼果子不要果子
https://zhuanlan.zhihu.com/p/636179209

往期回顾


基础知识

【CV知识点汇总与解析】|损失函数篇

【CV知识点汇总与解析】|激活函数篇

【CV知识点汇总与解析】| optimizer和学习率篇

【CV知识点汇总与解析】| 正则化篇

【CV知识点汇总与解析】| 参数初始化篇

【CV知识点汇总与解析】| 卷积和池化篇 (超多图警告)

【CV知识点汇总与解析】| 技术发展篇 (超详细!!!)


最新论文解析

NeurIPS2022 Spotlight | TANGO:一种基于光照分解实现逼真稳健的文本驱动3D风格化

ECCV2022 Oral | 微软提出UNICORN,统一文本生成与边框预测任务

NeurIPS 2022 | VideoMAE:南大&腾讯联合提出第一个视频版MAE框架,遮盖率达到90%

NeurIPS 2022 | 清华大学提出OrdinalCLIP,基于序数提示学习的语言引导有序回归

SlowFast Network:用于计算机视觉视频理解的双模CNN

WACV2022 | 一张图片只值五句话吗?UAB提出图像-文本匹配语义的新视角!

CVPR2022 | Attention机制是为了找最相关的item?中科大团队反其道而行之!

ECCV2022 Oral | SeqTR:一个简单而通用的 Visual Grounding网络

如何训练用于图像检索的Vision Transformer?Facebook研究员解决了这个问题!

ICLR22 Workshop | 用两个模型解决一个任务,意大利学者提出维基百科上的高效检索模型

See Finer, See More!腾讯&上交提出IVT,越看越精细,进行精细全面的跨模态对比!

MM2022|兼具低级和高级表征,百度提出利用显式高级语义增强视频文本检索

MM2022 | 用StyleGAN进行数据增强,真的太好用了

MM2022 | 在特征空间中的多模态数据增强方法

ECCV2022|港中文MM Lab证明Frozen的CLIP 模型是高效视频学习者

ECCV2022|只能11%的参数就能优于Swin,微软提出快速预训练蒸馏方法TinyViT

CVPR2022|比VinVL快一万倍!人大提出交互协同的双流视觉语言预训练模型COTS,又快又好!

CVPR2022 Oral|通过多尺度token聚合分流自注意力,代码已开源

CVPR Oral | 谷歌&斯坦福(李飞飞组)提出TIRG,用组合的文本和图像来进行图像检索


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/156369
 
343 次点击