Py学习  »  Git

GitHub AI 摸鱼小游戏!

GitHubDaily • 2 年前 • 289 次点击  

公众号关注 “GitHubDaily”

设为 “星标”,每天带你逛 GitHub!


大家好,我是小 G。

今天给大家带来一款 AI 小游戏:『寻物大作战』,这款游戏是基于 GitHub  上两个开源项目实现的。

下面,我将手把手带你学习如何从头开发一个属于自己的寻物游戏!

话不多说,先带大家领略下效果!

虽然受限于数据,这款小游戏尚处于初级阶段,不过麻雀虽小,五脏俱全,这个小游戏囊括了数据准备、模型选择、模型优化、上线部署,四位一体的全部流程!

下面小 G 就为大家揭秘在这背后究竟是何原理,让你也能轻松拥有自己的专属的 AI 小游戏!


总体来说 “寻物大作战” 小游戏背后所依赖的正是目前 AI 领域最热门的深度学习技术,通过一套端到端的图像分类模型来实现物体识别的效果。

虽然听起来 “高大上”,有了下面这两个开发神器的力量加持,对新手用户,甚至是小白用户可以说非常友好!

这两个神器就是:百度飞桨图像分类套件 PaddleClas 和基于 JavaScript 的深度学习前端推理引擎 Paddle.js~

PaddleClas 作为 “开箱即用” 的图像分类套件,拥有 180 + 预训练模型,都只需经过简单配置,即可完成从训练到部署的全流程工作。

近年来,深度学习技术越发的火热,计算机视觉在生活中得到了越来越多的应用,但受制于深度学习技术对庞大算力的需求,其在手机等算力有限设备上的应用总是捉襟见肘。

以图像识别任务为例,高精度的网络模型往往意味着高算力的需求,『寻物大作战』能够在手机小程序中实现,而且可以针对视频流实时推理,其背后正是 PaddleClas 近期所推出的轻量级 CPU 场景骨干网络模型 PP-LCNet

链接指路:https://github.com/PaddlePaddle/PaddleClas

PP-LCNet 模型以推理速度作为优化指标,特别针对 Intel CPU 平台所设计,同时兼顾 ARM 等移动端平台,在速度与精度的平衡上更为优秀,与现有 SOTA 模型相比,真正做到速度更快、精度更高

此外,经过验证,PP-LCNet 在目标检测、语义分割等下游视觉任务上同样具有优秀的性能。

Paddle.js 是百度飞桨基于 JavaScript 的深度学习框架,也是国内首款开源前端智能框架。其应用环境不局限于浏览器,对小程序同样做了支持。

通过 Paddle.js 运行 AI 模型,可以提供给用户高实时性、低延迟的体验,逐渐成为处理 AI 需求的更优解。

在『寻物大作战』小游戏中,使用 Paddle.js 仅仅三个步骤就能赋予小程序 AI 能力。


轻松接入 Paddle.js 后,我们接下来看看在『寻物大作战』小程序上的最终实践效果。游戏要求玩家在规定时间内,利用手机摄像头,找出和题目匹配的物品。

主体实现思路可以归纳为,利用 Paddle.js 连续推理摄像头中的图像信息,判断和题目物品是否相符。仅仅几行代码就可以帮你实现!

不难分析出,推理运算耗时在一定程度上会影响游戏的流畅度。耗时越少,用户感受越好。我们在 WebGL backend 上对不同机型测试了推理耗时,在红米 K30 上单帧推理耗时仅为 32.1 毫秒,iPhoneX 为 49.24 毫秒,对比采用网络传输数据至服务端推理的方案,性能优势显而易见!

在应对需要推理结果具有较好实时性的需求时,采用 Paddle.js 的方案将是更优的选择。

Paddle.js 作为前端深度学习框架,还提供了模型转换、模型优化、性能工具和预训练模型库,其中预训练模型库包含了人像分割、文字识别、手势识别及物品分类等模型的 SDK, 提供了开箱即用的 AI 能力,帮助用户快速实现 AI 效果。

在性能方面,通过算子融合、数据并行计算以及 FP16 量化等优化策略提升推理性能,给用户更好的使用体验。同时 Paddle.js 也提供了全套的模型加密方案保证用户模型安全。

说了这么多,感兴趣的小伙伴肯定迫不及待了吧~下面就送上我们的项目传送门:

https://github.com/PaddlePaddle/Paddle.js

✨ 开源不易,还请大家给程序猿小哥哥一个 Star  鼓励吧~

游戏尝鲜👇

此次小游戏是我们为大家提供底层基础能力抛砖引玉,希望小伙伴们可以集思广益,带来更多的创意和玩法哦~

直播预告

11 月 1 日,这款小游戏的作者将来到飞桨直播间,分享这款微信识物小游戏是如何炼成的,欢迎大家进群观看直播,进行技术交流喔。

直播精彩抢先看:

  • 深度学习图像分类应用介绍;

  • 识图小游戏模型原理揭秘;

  • Paddle.js 助力小程序快速推理

  • 模型训练部署一条龙上手

直播时间:11 月 1 日 19:00-21:00

直播链接:http://live.bilibili.com/21689802

(扫码入群,观看直播)

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/122304
 
289 次点击