关注“FightingCV”公众号
回复“AI”即可获得超100G人工智能的教程
我们有深度！
深度学习七十年
BP 解决非线性异或问题
致敬 1974 Werbos
再发现：Hinton 三巨头提出使用 BP 算法进行表征学习
卷积神经网络雏形 1980 年
再次致敬
思考：深度学习从哪来？又要到哪里去？
神经网络用极多个神经元连接，模拟小脑计算运作的过程
完全是靠学习和训练吗？纯数据驱动
那先验知识在其中有什么用呢？
创新的道路在哪里？
黑盒越来越大，怎么解释呢？解释问题、过程还是结果？
1 有哪些深度学习网络体现了这些功能呢
2 再有大数据你就是小样本，嘿，不要被淹死
3 人脑是智慧 高度非线性，局部 BP 是需要的，但全局更不能少
4 sigmoid 毫无这些特性，表征就不好怎么能学好呢
5 剪枝 & NAS 三个性质怎么解释
6 找到正确的优化的解
7 只有感知够吗，认知起了什么作用？推理、决策
三大过程
Universal Approximation
输入未知，非线性怎么逼近
表征都没出来怎么去学习特征呢
表征理论不是单纯累加模型层数
表征是开始，所以很重要
模型得匹配对
捷径和收敛速度分不开，100 张 V100 能放在火箭上吗
每个变量都是有物理意义的，要作为物理过程计算，brain-inspiring，而不是一个单纯的计算机过程
能量、熵、功率能解释通吗
传统方程探究的时候会研究它们的量纲是否一致，但现在计算机模型做到了吗
该页被特别推荐！
脑科学领域 20 年最新成果，Nature Science，有多少在深度学习模型上体现了
工作1：物理机制结合，Wishart 分布
工作2：对方向奇异性表征探究
工作3: Contourl Net 及其复数域
机器学习和物理学的关联 Physical-Informed / Physical-Inspired
从此开始，拍照已经赶不上翻页的速度：
哈密顿量、拉格朗日量、牛顿莱布尼茨公式
物理信息神经网络
电磁学启发
电路启发：基于霍夫定律
光学神经网络：光电神经网络、全光神经网络
热力学影响
熵原理：求解最优解启示（退火算法）
量子力学：结合了不确定性
进化角度：群体思想、自然免疫、进化计算
体会：NAS 在免疫和进化有很好的潜力，非常有用
超参数优化问题
元学习问题
多思考！
中国人任重道远
https://zhuanlan.zhihu.com/p/636179209往期回顾
基础知识
【CV知识点汇总与解析】|损失函数篇
【CV知识点汇总与解析】|激活函数篇
【CV知识点汇总与解析】| optimizer和学习率篇
【CV知识点汇总与解析】| 正则化篇
【CV知识点汇总与解析】| 参数初始化篇
【CV知识点汇总与解析】| 卷积和池化篇 （超多图警告）
【CV知识点汇总与解析】| 技术发展篇 (超详细！！！)
最新论文解析
NeurIPS2022 Spotlight | TANGO：一种基于光照分解实现逼真稳健的文本驱动3D风格化
ECCV2022 Oral | 微软提出UNICORN，统一文本生成与边框预测任务
NeurIPS 2022 | VideoMAE：南大&腾讯联合提出第一个视频版MAE框架，遮盖率达到90%
NeurIPS 2022 | 清华大学提出OrdinalCLIP，基于序数提示学习的语言引导有序回归
SlowFast Network：用于计算机视觉视频理解的双模CNN
WACV2022 | 一张图片只值五句话吗？UAB提出图像-文本匹配语义的新视角！
CVPR2022 | Attention机制是为了找最相关的item？中科大团队反其道而行之！
ECCV2022 Oral | SeqTR：一个简单而通用的 Visual Grounding网络
如何训练用于图像检索的Vision Transformer？Facebook研究员解决了这个问题！
ICLR22 Workshop | 用两个模型解决一个任务，意大利学者提出维基百科上的高效检索模型
See Finer, See More！腾讯&上交提出IVT，越看越精细，进行精细全面的跨模态对比！
MM2022｜兼具低级和高级表征，百度提出利用显式高级语义增强视频文本检索
MM2022 | 用StyleGAN进行数据增强，真的太好用了
MM2022 | 在特征空间中的多模态数据增强方法
ECCV2022|港中文MM Lab证明Frozen的CLIP 模型是高效视频学习者
ECCV2022｜只能11%的参数就能优于Swin，微软提出快速预训练蒸馏方法TinyViT
CVPR2022|比VinVL快一万倍！人大提出交互协同的双流视觉语言预训练模型COTS，又快又好！
CVPR2022 Oral｜通过多尺度token聚合分流自注意力，代码已开源
CVPR Oral | 谷歌&斯坦福（李飞飞组）提出TIRG，用组合的文本和图像来进行图像检索
