修图动口不动手，有人把StyleGAN和CLIP组了个CP，能听懂修图指令那种在最近的一篇论文中，来自希伯来大学、特拉维夫大学、Adobe 等机构的研究者提出了一种名为「StyleCLIP」的模型，几乎可以让你动动嘴皮子就把图修了。这里用「几乎」是因为研究者给出的接口其实还是文字版的。如下图所示，如果你想让一只猫看起来可爱一点，只需要输入「cute cat」，模型就能够把猫的眼睛放大，同时改变其他影响其可爱值的特征。GAN 模型的出现颠覆了图像生成领域，StyleGAN 更是其中的翘楚，可以生成极其逼真的图像。此外，研究者发现，StyleGAN 学到的中间隐空间拥有解耦特性，这使得利用预训练模型对合成图像以及真实图像执行各种各样的图像操作成为可能。但对于用户来说，利用 StyleGAN 的强大表达能力来实现自己的意图并不容易。他们需要一个简单、直观的接口。现有的语义控制发现方法要么涉及手动检查，要么涉及大量带注释的数据，要么需要预训练的分类器。此外，后续操作通常是使用一个参数模型（如 StyleRig 中的 3DMM），通过在一个隐空间中沿着一个方向移动来执行。在这篇论文中，研究者利用 OpenAI 最近推出的 CLIP（Contrastive Language-Image Pre-training）模型来支持基于文本的直观语义图像操作，既不限于预设的操作方向，也不需要额外的手工工作来发现新的 control。- https://arxiv.org/pdf/2103.17249.pdf
- https://github.com/orpatashnik/StyleCLIP
CVPR2021 | 国防科大：基于几何稳定性分析的物体位姿估计方法
物体6D姿态估计是机器人抓取、虚拟现实等任务中的核心研究问题。近些年来，随着深度学习技术和图像卷积神经网络的快速发展，在提取物体的几何特征方面出现了许多需要改善的问题。国防科技大学的研究人员致力于通过将几何稳定性概念引入物体 6D 姿态估计的方法来解决问题。
近些年来，随着深度传感技术的快速发展，以 PPF 特征匹配算法为代表非学习方法和以 3DMatch 为代表的深度学习几何特征提取方法逐渐在位姿估计问题中崭露头角。这些方法虽然在多个公开数据集中取得了不错的效果，但是没有显式地约束几何特征提取和物体位姿的关系，因此制约了方法的可解释性和泛化性。
针对这一问题，国防科技大学的研究人员将几何稳定性概念引入了物体 6D 姿态估计，并提出了利用物体表面几何稳定（Geometrically stable）的面片组合（Patch group）预测物体姿态的方法 StablePose。StablePose 物体位姿估计模块的输入只有物体的深度信息，不包括 RGB 图像，能够有效处理无纹理、弱纹理物体的位姿估计问题。实验表明，StablePose 在多个实例位姿估计和类别位姿估计数据集上取得了最佳性能，能够处理物体间遮挡，具有良好的泛化性。论文的主要创新点包括：- 提出了基于几何稳定面块组合回归物体位姿的深度网络；
- 提出了用于处理对称物体、有遮挡的物体以及新颖物体的机制，增强了方法的稳定性。
论文地址: https://arxiv.org/abs/2102.09334
BERT和GAN咋压缩，且看咱PaddleSlim新利器——OFA
目前在深度学习领域，一方面需要追求更高的性能，采用强大、复杂的模型网络和实验方法；另一方面又需要关注如何将算法更稳定、高效地在硬件平台上落地。复杂的模型固然展现更好的性能，但过高的存储空间需求和计算资源消耗，是影响在各硬件平台上的落地的重要原因之一。尤其在NLP领域，以BERT、GPT为代表的预训练模型规模越来越大。
针对部署难题，可以使用剪枝、量化、蒸馏等传统的模型压缩技术，但是这些模型压缩技术整体的流程较长，直接串行结合的效果不佳。而OFA（Once For All）[1]技术巧妙地结合了剪枝、蒸馏和结构搜索策略，不仅提升了压缩效果，还简化了压缩流程。
百度飞桨模型压缩工具PaddleSlim新增支持OFA这一实用功能，并在BERT和GAN模型上做了验证：对于BERT模型实现了近2倍的加速；而对GAN模型则实现了33倍的体积压缩。除此以外，PaddleSlim还为用户提供了简单易用且低侵入的轻量级接口，用户无需修改模型训练代码，即可完成OFA压缩。
图 PaddleSlim OFA接口示意图如上图所示，OFA涉及多个复杂的操作，包括按重要性对权重重排、剪枝、蒸馏、子模型搜索等，PaddleSlim将这些操作隐藏到底层，提供给用户简单的适用接口。更重要的是，PaddleSlim提供的接口对用户代码是低侵入的，用户不用修改现有的模型训练代码，通过调用PaddleSlim的转换接口即可将原有模型自动转换为超网络。
项目链接：
https://github.com/PaddlePaddle/PaddleSlim
C和C++不安全？谷歌宣布Android加入对Rust语言支持
Android 系统涉及很多组件，开发者会根据正在开发的 Android 部分而选择不同的编程语言。对于应用开发者来说，Java 和 Kotlin 是比较流行的选择；而对于从事操作系统以及内部底层的开发人员来说，C 和 C++ 是比较好的选择。近日，谷歌为操作系统开发者增加了第 3 个选择 Rust。谷歌发布博客称 AOSP (Android Open Source Project) 现已支持使用 Rust 开发 Android 操作系统。谷歌表示，用 Rust 重写数千万行的 C 和 c++ Android 代码根本不可行，而重写旧的 Android 不会有太大影响，因为到目前为止旧代码已经清除了大部分 bug。由于 Android 源代码是一个拥有数十亿用户的开源项目，很多人都在关注它。大部分内存 bug 都发生在新的或最近修改过的代码中，大约 50% 的错误发生在不到一年的时间里。必要时，Rust 将用于新组件，这将有助于减少谷歌可能引入的新内存 bug。
Android 内存 bug 图表。旧代码有很多 bug，现在已经修复了。比较罕见的旧内存 bug 可能会让人感到惊讶，但谷歌表示旧代码并不是最迫切需要改进的地方。随着时间的推移，软件 bug 会被逐渐发现和修复，因此我们可以预期还在维护但未处于活跃开发状态的代码中的错误量会逐渐减少。无论如何，向 Android 平台添加新的开发语言支持是一项大工程。谷歌表示：「在过去的 18 个月里，我们一直在为 Android 开源项目添加 Rust 支持，在接下来的几个月里，我们将分享一些早期采用 Rust 的项目。将 Rust 扩展到更多的 OS 是一个长期项目。」黑客用GitHub服务器挖矿，三天跑了3万个任务，代码惊现中文加密货币价格一路高涨，显卡又买不起，怎么才能“廉价”挖矿？给PC植入挖矿木马，已经无法满足黑客日益增长的算力需求，如果能用上GitHub的服务器，还不花钱，那当然是极好的。原理也很简单，利用GitHub Action的自动执行工作流功能，轻松将挖矿程序运行在GitHub的服务器上。Github Actions的免费服务器可以提供英特尔E5 2673v4的两个核心，7GB内存。大致估算单台运行一天只能获利几美分，而且黑客的挖矿程序通常只能在被发现之前运行几个小时。比如Docker Hub就把自动build的运行时间限制在2个小时。不过蚊子再小也是肉，黑客通过寻找更多接受公开Action的仓库以及反复打开关闭Pull Request就能执行更多的挖矿程序。
△同一黑客账号至少攻击了95个GitHub仓库正如Twitter用户Dave Walker所说的，如果你提供免费的计算资源，就要做好会被攻击和滥用的觉悟。挖矿有利可图的情况下这是不可避免的。据报道，受害的不止GitHub，还有Docker Hub、Travis CI以及Circle CI等提供类似服务的持续集成平台。这一乱象不知何时才能结束，唯一的好消息可能就是，挖矿的黑客似乎只是针对GitHub提供的服务器资源，而不会破坏你的代码。但是GitHub Action的漏洞不止这一个。还有方法能使黑客读写开发者的仓库，甚至可以读取加密的机密文件。去年7月，Google Project Zero团队就已向GitHub通报漏洞。但在给出的90天修复期限+延长14天后，GitHub仍未能有效解决。对此，我们的建议是，不要轻易相信GitHub市场里的Action作者，不要交出你的密匙。
觉得不错，请点个在看呀
