1. OPPO 5G应用3D视频通话项目曝光,正决战核心前沿技术突破
集微网 4月11日报道
今天早间,网络出现的一组照片和信息,显示OPPO正在基于5G网络,研究全新的3D视频通话技术。从曝光出的资料看,OPPO巧妙地把5G网络和3D图像技术结合起来,利用5G网络高速率的特性,传递大数据量的3D视频信号,实现了类似全息影像的效果,让视频通话犹如面对面一样。

图:OPPO利用5G和3D图像技术,研究3D视频通话技术
3D视频通话:未来可实现全息影像
可能很多消费者还不清楚这一技术的意义和用途。简单来说,就是未来如果OPPO 将此项技术落地,你与朋友之间打电话将不是语音信息,而是让千里之外的朋友,与你同处在一个空间里面对面地聊天。
比如,《星球大战》里面贯穿影片的全息影像,它让远在千里之外的人真实地呈现在眼前,就如同面对面一样。天涯近在咫尺,简直是神器。

图:《星球大战》电影中展示的全息影像会议
如果再进一步想象一下,未来当全息影像技术成熟后,人与人、人与物之间将打破时空概念,人们无法用眼见分别真假,那时的世界将是“所想即所得”。
不过,要实现上述美好愿景,就需要突破3D图像技术,以及数据传输障碍等问题。而此次从OPPO曝光的信息看,他们正在利用5G网络和3D图像技术结合起来实现。
OPPO 已深度参与到5G网络标准制定中
由于从语音信息到立体图像信息,涉及的数据量指数级别的增加,并且还要具备极低的网络延时。目前看5G网络将满足这个应用场景。而事实上,OPPO早已深度参与到5G标准制定中。
在今年1月16日,中国5G第三阶段技术规范发布会上,OPPO凭借对5G国际标准的深入理解,成为参与此次终端规范编写的唯一手机厂商。

图:OPPO参与中国5G第三阶段技术规范
资料显示,OPPO早在2015年初,公司就正式成立5G通信标准团队,招募了多名具有长期国际标准经验的专家,目前5G研究实力在国内手机企业里处于领先水平。在所有5G相关领域,包括网络、终端、业务等方面,OPPO都有较深技术储备。在国际权威标准组织3GPP中,OPPO提交的文稿数量居全球终端公司前列,具备了一定的国际影响力。
在5G国际标准化中,来自OPPO的技术专家被指定主持“上行控制信道资源分配”这一核心方向的讨论,组织多家大公司的专家,高质量地完成了相关技术的标准化工作,为2017年12月5G新空口非独立组网(NR NSA)标准的按时冻结做出了贡献。同时,OPPO专家在5G共存干扰、LTE V2X等标准化方向上也扮演着重要的角色。
据悉,OPPO还参与《5G技术研发试验系统验证——终端设备技术要求》标准研究制定工作,也是其中唯一一家纯终端厂商。OPPO 凭借对3GPP RAN1和RAN4 5G标准的深入理解,在上下行控制信道、资源分配与调度、带宽分段与载波聚合、射频指标等部分提出了重要的修改建议,赢得国内外产业的广泛认可。
OPPO 副总裁吴强曾表示,OPPO 在关键的重大技术方面投入非常坚决。比如在3G转4G时,OPPO 就率先放弃依然有一定规模的3G市场,坚决全面转型4G。而这次5G 技术,OPPO 更是提前布局深度参与到标准的制定中,抢占了未来技术制高点。
成立研究院,OPPO 正决战突破核心技术
今年初OPPO 提出了“渐变”的战略,其中要变的一项就是在核心前沿技术上的加大投入,力求突破。
就在本月初,OPPO公司宣布,正式成立OPPO研究院,任命刘畅担任院长。OPPO 表示,设立专门的研究院旨在全面提升公司技术创新和研究能力,基于并超越用户需求开展核心技术预研与储备,为公司未来产品的竞争力创造技术条件。
据悉,在架构上OPPO研究院总部设立于深圳,下设北京研究所、上海研究所、深圳研究所、东莞研究所、日本(横滨)研究所和美国(硅谷)研究所,在软件、硬件及标准三大领域展开研究工作。

图:OPPO 全球研究院布局
与此同时,OPPO将加强与全球高校的合作。目前,OPPO研究院已经与斯坦福大学AI人工智能实验室建立了OPPO-斯坦福大学联合实验室(OPPO-Stanford Collabration Lab),共同探索人工智能前端技术及应用;在5G领域,OPPO已经与纽约大学(New York University)、北京科技大学、北京邮电大学、中国信息通信研究院(CAICT) 标准所等大学和科研院所,展开技术创新与合作。
OPPO CEO陈明永表示:“OPPO研究院的成立是公司在现有研发系统之外,布局未来的全新投入。通过OPPO研究院下设的不同研究所,以及灵活、专注的对外研究合作,OPPO将进一步提升自身创新能力,力求引领人工智能、5G等技术在智能终端上的发展应用,从而继续为用户打造艺术与科技相结合的至美产品,始终满足并超越用户的需求。”

图:OPPO CEO陈明永为研究院授牌
事实上,在专利方面,OPPO 可以说是手机企业里面的隐形冠军。据国家知识产权局发布的数据显示,2017年,中国发明专利授权量排名的前十位企业中,OPPO位列第八,是唯一一家纯手机终端厂商。

图:2017年中国发明专利授权量排名OPPO列第八
据悉,目前OPPO仅拍照相关专利就高达一千多项,同时在欧美、日韩等国家和地区,OPPO持续购买SEP通信基本专利,并与高通等就达成专利许可协议,为目前正在进行的海外布局扫清了技术壁垒。
目前OPPO 的研发体系已经进入“用户需求”和“前沿技术”双驱动阶段,未来我们会看到更多的突破。(校对/小秋)
2.单反级相机努比亚Z18mini 发布,推金融级安全技术智能门锁
集微网 4月11日报道
今天,努比亚在北京发布经典“小牛”家族的第九代产品——努比亚Z18mini。该机继承了“小牛”多彩基因,同时也专为年轻用户进行了大量针对性设计的一款“全能小钢炮”。另外,努比亚CEO 倪飞正式宣布,推出努比亚智联布局业务,进军智能家居。同时推出第一款智能家居产品——智能门锁。

单反级相机努比亚Z18mini 发布
外观设计上,努比亚Z18mini则结合当代年轻人的审美观,背面采用了“星幕纹”3D炫光玻璃,通过光线折射出的竖条纹路,极具美感。另外,考虑到用户使用体验舒适感,Z18mini结合人体工学理念,采用5.7英寸18:9比例1080×2160 FHD+高清全面屏设计,不仅视野更加开阔,并且还为用户带来了最舒适的握持感。


为了充分满足年轻群体对个性化外观的追求,努比亚在外观配色上再度创新,除了耀钻黑、冰川白、青瓷蓝、莹玉粉之外,还将世界权威色彩机构推出的2018年世界流行色“紫色”融入其中,推出极具时尚感的Z18mini普罗旺斯版。
配置方面,搭载高通骁龙660AIE多核神经网络加速芯片,标配6GB内存,提供64/128GB两种存储规格,电池容量为3450mAh,预装基于安卓8.1深度定制的nubia UI系统。
作为业界“手机中的单反机”,努比亚Z18mini同样继承出色的摄影基因。在硬件镜头上,Z18mini采用后置双彩色摄像头配置,其主摄像头具有高达2400万真实像素、F1.7超大光圈。努比亚Z18mini同时具备专业摄影器材级别的多点对焦功能,拥有25个独立对焦点、可实现0.1s极速对焦,对焦速度比传统手机拍摄快了四倍,一键即可轻松拍出专业级相机级大片即视感。

拍摄功能上,努比亚独特AI人工智能算法及针对人脸特点收集分析的大数据支撑下,努比亚Z18mini的AI人像摄影具有3D美颜、3D降噪、逆光局部补偿等特点,能够使磨皮、美肤、去眼袋等多种美颜效果融为一体,十级美颜调节,真正达到“一拍即美,越拍越美”。
售价上,努比亚Z18mini 分为6GB+64GB版本售价仅1799元、6GB+128GB版本售价为2099元,此次特别版——普罗旺斯版(6GB+128GB)售价为2199元。将于4月11日在努比亚官方商城、努比亚线下体验店、京东商城开启预约,并于4月19日在以上渠道同步开启首销。
进军智能家居,推出智能门锁
除了手机发布,在此次发布会上,努比亚CEO 倪飞正式宣布,推出努比亚智联布局业务,进军智能家居。同时推出第一款智能家居产品——智能门锁。

据悉,努比亚发布的智能门锁此前就已经在WMC2018展会上亮相,而本次国内首次发布,无疑表明了努比亚一直在积极研究全新的产业布局。同时这款具备金融级安全加密芯片、军工级3万像素指纹识别、锌合金材质的智能门锁新品售价1599元,其也是努比亚进军物联网大门的第一把“锁”。
外观上,努比亚推出的智能门锁采用钢琴烤漆工艺,覆盖锌合金锁体,两档阻尼滑盖设计,全面防护,非常精致;另外,全视窗及智能语音设计,外加黑色屏幕修饰门锁腰身,整体设计高端大气。

在安全层面,努比亚智能门锁采用了金融级安全技术体系,全程流程数据加密算法保护,钻用加密芯片防暴力破解,达到A级防护。并且,努比亚智能锁还才采用了B级锁体,C级锁芯,即方舌锁体防暴力破锁,三叉斜舌卡片开启,天地钩304不锈钢材质稳固安全,真正意义上做到了全方位安全保障。
而在开锁解决方案上,努比亚智能门锁提供了多达5种开锁方式,分别为密码、指纹、智能卡、钥匙、手机开锁;极大的提升了用户使用过程中的便捷性。
据悉,未来努比亚还将会以提供全套智能互联解决方案的模式,进一步与合作伙伴在智能家居、智慧城市等领域合作。
3.暴风AI电视7发布:革遥控器的命 我们不一样!

集微网4月11日报道(记者 张轶群)今日,互联网电视品牌暴风TV在京举行春季新品发布会,全球首台55寸AI+全面屏的旗舰产品——暴风AI电视7亮相。这是继日前发布40寸暴风AI电视4,并将AI电视价位拉低到千元之后,暴风TV的又一次搅动市场格局之作,“干掉遥控器”的宣传口号也反映了暴风TV在AI电视领域中的企图心,进一步强化其中国AI电视行业第一品牌的领先优势。
三大基础能力提升 干掉遥控器
此次发布的暴风AI电视7可以视为暴风AI电视的全面升级之作。其中最大的亮点在于人工智能外脑+AIOS 3.0+手机端“大耳朵”3大基础能力的加持,使得这款产品具有更强的交互性,更高的准确率和识别率,可以完全不通过遥控器实现与电视的互动。
暴风AI电视7搭载新一代AI外脑,配备4路阵列式麦克风、高清摄像头、6颗人工智能芯片、NLP自然语音技术,语音识别率提升至98.5%,实现5米远距离识别。
区别于普通UI的繁琐操作,AI OS 3.0带来“看图+说话”、“语音+语意搜索”、“AI推荐引擎(信息流)”等优化体验,有别于遥控器上的方向键以及需要输入拼音等操作,暴风AI电视7首次做到了凡屏幕显示的文字、数字即可说,用户可以根据屏幕上的内容向电视发出语音指令,包括进入、翻页、退出、搜索等,都能够得到准确识别和回应。
此外,AI OS 3.0操作系统中使用“大耳朵”代替“暴风大耳朵”作为启动命令,实现AI行业首家做到3字唤醒的AI助手,开机比遥控器快200倍,4米内远场唤醒率能达到95%,中文语义准确率达98.5%,唤醒响应时间降低到202毫秒,语音识别时间降小于0.5秒。无论关机还是开机状态,均可实现“唤醒+任务”,无需等待唤醒再对话,带来较为便捷的用户体验。
基于人工智能和用户数据,暴风AI电视7可进行声纹识别、多轮对话、识别人物关系,根据个人喜好推荐电影、电视剧、音乐、短视频等,展示出AI信息流,千人千面的使用效果。除了5代原有的大屏视频聊天及AI早教功能外,暴风AI电视7还新增了大耳朵K歌、大耳朵斗地主等AI娱乐功能,同样均可通过远讲语音实现服务。
同时,在屏幕方面,暴风AI电视7采用日本、德国等世界顶尖品牌的全自动无缝贴合工艺、GOP无边框设计技术,做到行业内高水准的零破屏,屏占比高达96.25%,而暴风左眼引擎+第7代画质增强引擎的双画质技术引擎,也使得看大片、电视剧、纪录片等都能带来现实般的清晰细腻。
暴风AI电视7采用行业内最高规格的2GB DDR4内存,速度是DDR3的2倍。搭配业内领先的16GB eMMC5.1高速大存储,4K视频播放、大型竞技游戏、人工智能服务均极速响应。
内容方面,暴风影音+爱奇艺+奥飞娱乐三大平台内容打通,实现超过12000+部电影、2400+部电视剧,每月新增3万小时时长影视内容。对每一个英超迷而言,380场比赛全覆盖,同步高清直播,过足“球瘾”。更有上千部高清VR片源,720°全景视频裸眼观看,实现在外玩手机、在家玩电视。
目前,暴风AI电视7全系新品已在暴风TV官方网站、京东旗舰店、天猫旗舰店、苏宁旗舰店展开预约,新品售价分别为:3999元(65吋)、2999元(55吋)。4月18日0点首发抢购,晒单评价可享499元VIP影视会员福利。

暴风战略聚焦 专注电视领域
近年来,AI成为行业风口,推动了智能手机、互联网电视的进一步升级趋势。在互联网电视方面,暴风TV抢先布局发力,在2017年5月和9月相继推出了包括全球首台人工智能电视5 X5 ECHO在内的多款新品,推动AI电视的普及风潮。
在2017年双11期间,暴风TV的AI电视整体出货量超 13 万台,摘得京东天猫双平台AI电视品类冠军,并实现电商平台100%好评的用户赞誉。而在去年中国电视行业整体销量同比下降6.6%的环境下,暴风TV营业收入同比上涨超过40%,体现出强劲的发展势头以及差异化的竞争能力。
实际上,从去年年底到目前暴风的一系列动作,都表明了其要在AI电视领域大干一场的决心。也意味着近几年暴风将重点围绕电视产品打造核心竞争力。
去年12月,暴风获得8亿战略融资,发展资金到位。今年2月,总投资10亿元的暴风TV江苏智能产业园落户江苏如东,制造能力进一步提升。
暴风集团创始人、CEO冯鑫在发布会现场表示,2018年至2020年,暴风只专注一件事,就是暴风电视。
冯鑫认为,家庭互联网成为新互联网平台,是未来三年互联网大势之一。他表示2020年中国至少有1亿家庭会进入家庭互联网,硬件是一个万亿市场,互联网增值服务是一个千亿市场,1亿家庭会成为新的数据资产。而上述变化离不开交互中心和计算中心通过互联网电视和智能音响引发交互革命。
正因如此,暴风弱化了VR以及视频内容,而将互联网电视作为发展重点,并制定“All for TV”战略,希望通过强化在AI电视领域的和新竞争力,争夺未来家庭互联网的入口。
尽管暴风AI电视7号称干掉遥控器,但是考虑到用户使用的习惯性以及适应过程,该款产品还是配备了遥控器。但冯鑫表示,告别遥控器是未来AI电视的趋势,这如同触摸屏iPhone的出现消灭了实体键盘一样,AI功能的强化能够引发电视机操作体验上的变革。
“未来互联网和人的关系就是离近了就摸、离远了就说。彻底告别遥控器将是暴风进行互联网电器革命最重要的一条路,当你有一天打开你的电机包装盒之后没有遥控器时,我们希望能够打开这个产业变革的魔盒”冯鑫说。
尽管语音作为最自然的交互方式,借助AI功能的加持,能够带来便捷的操作体验,但多年来形成的用户习惯以及真正流畅的交互体验仍然是制约电视“无遥控器”化的主要因素。
暴风可能并不是第一个喊出要革遥控器的命的电视企业,但至少在这条路上,能够看到其在扎实地进行探索,只有通过不断的技术创新,让消费者真正体验到语音控制的便利以及接受这样的互动方式,方能催生出行业变革,如果真有那么一天,那对于行业的震动无异于苹果对于智能手机行业的影响,而那也是中国电视企业在全球行业创新领域贡献的巨大力量。(校对/范蓉)
4.用户不买账 刘海屏手机今年最多只会占两成份额
腾讯科技讯 2018年,中国许多手机厂商开始效仿苹果iPhone X中的刘海屏幕,这引发了一些争议和消费者不满。据台湾媒体报道,用户不买账、生产复杂等原因,将导致刘海屏幕难以成为今年的市场主流。
苹果iPhone X中的刘海屏幕,遭到了不少媒体的批评,被认为是iPhone X手机销售低迷的两大原因之一(另外一个原因是1000美元定价过高)。
在日前的一个新品发布会上,中国锤子科技公司的掌门人罗永浩也对刘海屏幕设计提出了批评。
据台湾电子时报网站日前报道,一些手机行业人士现在开始怀疑,刘海屏手机今年还有多大的发展空间。
目前,包括华为、华硕、OPPO等知名手机厂商推出了刘海屏幕手机,此外还包括Ulefone等不知名的国内品牌。
不过市场观察人士指出,并不是所有消费者都支持刘海屏幕,这种屏幕缺乏手机软件的用户界面支持。
消息人士指出,iPhone X的销量达不到预期,上半年苹果从三星显示器公司采购的OLED屏幕,已经从原先的4000万块订单缩减到了2500万块。
虽然iPhone X的刘海屏幕遭到了一些质疑,但是令人奇怪的是,在2018年的三款新手机中,苹果计划继续推广刘海设计,全部手机将放弃过去多年的设计,采用刘海屏。
业内消息人士指出,专利问题也将成为刘海屏手机发展的难题。苹果目前持有相关的专利,未来可能向手机厂商发起诉讼。
另外,刘海屏幕属于异形屏,生产技术复杂,制造成本过高,这一因素将导致安卓手机厂商减少刘海屏手机的型号数量,主要采用在一些高端手机领域。
消息人士指出,受到各种因素的限制,刘海屏幕难以成为2018年的市场主流并获得高速增长,最多的比例可能只有两成,而且绝大多数来自苹果的刘海屏手机。
对于刘海屏幕的缺陷,科技媒体的评价比较一致,即这样的异形屏幕设计干扰了用户正常的视觉体验,在观看照片和视频时尤为如此。另外,这种屏幕也给手机软件开发者造成了巨大困难,许多软件干脆放弃了顶部的空间,降低了屏幕使用效率,反而违背了全面屏手机的设计初衷。腾讯科技
5.继工业园裁员后 金立总部也将裁员50%按N+1补偿
新浪科技讯 4月11日下午消息,继金立工业园裁员50%后,据悉金立总部也将裁员50%。金立方面确认了此消息,称将对员工按N+1进行补偿。
据媒体报道,金立总部也开始了裁员,裁员比例为50%。该裁员名单早在清明节前就已经统计,4月10日深圳总部、北研所等均开始约谈员工,并出台了补偿方案。
金立方面向新浪科技确认了此消息。称从昨天开始,与部分员工沟通,协商解除劳动合同,但充分尊重员工意愿,接受“N+1”补偿协议的,会在近期办理手续;希望留下的,可继续在本职岗位上工作。
此前,有传闻称金立工业园将解散,金立方面发布声明称,未来金立工业园将保留50%左右的员工继续生产,同时也有ODM厂商协助生产金立手机,为金立在国内与海外的订单供货。
金立方面还称,与员工解约是以平等自愿为原则,并非强迫行为。同时补偿标准将严格执行《劳动合同法》相关条款,对离职员工按照“n+1”的方式进行补偿,并与员工签订补偿协议书,经济补偿金分期支付,自补偿协议签订次月起开始支付,按每月支付1个月补偿金的方式进行,最长8个月内支付完毕。
去年底,金立陷入供应商欠款和资金链紧张传闻。今年1月中旬,新浪科技发现金立公司在深圳和上海等地陷入了多家供应商的诉讼,同时刘立荣持有的多家金立公司和关联公司股权遭遇法院冻结。还有媒体报道称,已有不少中小供应链厂商在2018年1月上旬开始到金立总部“上门要债”,部分厂商称欠款期限已经达到半年以上。
今年1月底,刘立荣在接受证券时报采访时对此事进行了回应。对于赌博欠债传闻,刘立荣回应称“那些都只是市场传闻”。他表示金立出现资金链问题的主要原因是2016年和2017年营销费用和投资费用投入超限。
对于资金链问题,刘立荣称金立将分三个步骤来解决,首先引入合作伙伴,确保生产与销售;第二,引入战略投资者,补充资金;第三,出售资产偿债,获取债权人支持。
另据媒体报道,金立一些部门员工已收到内部架构调整的通知,公司近期将重组,这源于金立拿到一笔融资,资金会投入到新公司的组建。不过具体的出资方是哪家公司目前仍旧未知。(张俊)新浪科技
6.年底前完成5G实验机研发!vivo:加强5G/AI技术研究
对于现在的vivo来说,在新技术追求上,表现的也是相当积极,所以即将到来的5G大潮,他们怎么可能落下。
在海南举行的博鳌亚洲论坛上,vivo创始人、总裁兼首席执行官沈炜出席并参与讨论。在他看来,5G和AI结合,是未来手机的核心,智能手机到5G时代应该定义为智能手机。
对于5G和AI的布局,vivo其实很早就在进行了,去年年底已经在国内外成立了六个研发中心,包含深圳、东莞、南京、杭州,北京以及圣地亚哥,同时还要持续在云端的计算能力上进行大量的投入。

对于接下来的发展计划,沈炜表示,今年年底之前vivo将完成5G实验用机的研发,会配合运营商开展网络的测试。他们最终计划是在明年完成预商用终端给到运营商,2020年实现大平台的量产。快科技
7.从华为P20 DxOMark的胜利来说AI与机器学习
华为在上月发布了P20 Pro和P20,在当天公布的DxOMark手机摄像上排行名列前茅,并且领先幅度并不是1分2分,P20 Pro比之前的榜首三星Galaxy S9 Plus高了10分,可以说完全不是一个纪元,而是领先了一到两个时代。当然P20 Pro的1/1.73英寸的CMOS规格难免有些欺负人,但1/2.7英寸 CMOS的P20相比Galaxy S9 Plus、Pixel 2仅仅是规格稍高,然而其成像画质也有明显优势,那这个优势是由何而来的呢?

摄影画质的提升是有两个思路,一个是暴力拼硬件,如采用更大面积更大像素的CMOS,增加机械的光学防抖,更大光圈;而第二个思路则是软实力:算法和优化。
第一个思路的典型案例是三星Galaxy S9 Plus,之前的Galaxy S8相对Galaxy S7拍照基本只是原地踏步,而Galaxy S9 Plus率先使用了全新带有DRAM的三层堆栈的1.4µm CMOS,但这个仅仅是拍照提升的次要因素,真正大进步的主要因素是光学组件的大跃进,Galaxy S9 Plus突破性的采用了F1.5的超大光圈。但使用这样大的光圈是需要付出很高代价的,首先F1.8以上的大光圈生产难度很大,良品率很低,导致镜头模组生产成本很高,第二个是光圈过大,在明亮场景会使得图像过曝,GS9甚至引入了物理可变光圈来解决了这个问题,这样大大提升了摄像组件的复杂度,降低了可靠性。
另外一个思路就是软件算法上的优化,这个典型案例就是Pixel 2,12.2MP、1.4µm pixels、f/1.8单摄像头的硬件规格并不算很夸张,但还是可以压倒iPhone X等一票硬件怪物,这就得益于DeepLab-v3+算法。这个算法是基于AI的深度学习自然网络,可以对景物进行实时分析,识别目标场景内容,进行优化。并对场景进行HDR+处理,在一定程度避免过曝情况的发生。DeepLab-v3+算法最看门的绝技是单摄像头通过算法实现景深拍照,这样的功能实现需要大量的编码和解码操作,进行多次取样和转换,运算量十分巨大。Google Pixel 2为了实现该功能甚至还专门开发了一颗名为Pixel Visual Core的加速芯片来进行算法处理,这个加速芯片的FPU浮点性能是Apple A11 Bionic的五倍。Google还看上去大公无私地将DeepLab-v3+算法进行了开源,免费给全世界分享。当然Google这样做也是有自己小算盘,一方面,可以充分利用开源界的免费开发资源继续完善,另外一方面其主要竞争对手高通骁龙835/845的AI性能还不如A11,并且跑不动这套需要极高性能的算法,于是自以为不用担心,别人单有算法也没有足够性能的硬件来来实现。
P20样片对比和分析
但在这个问题上Google却失算了,华为麒麟970率先内置了NPU处理器,可以提供足够的性能来实现与此同级别的基于深度学习的算法,用来提升拍摄的画质表现。基于深度学习的AI算法是如何提升画质表现的,让我们从DxO的对比样张来看看。(对比图片来源:https://www.dxomark.com/huawei-p20-pro-camera-review-innovative-technologies-outstanding-results/,具体对比原图可以在这个页面查看)

低光照和防眩光
这是一个典型的夜景场景,华为P20 Pro左下角的黑色顶棚还原真实,而iPhone X和Pixel 2明显过曝,右下的街灯iPhone X和Pixel 2也有明显眩光。P20 Pro通过深度学习对场景进行侦测,很大程度避免了过曝情况的发生。而右上角的树枝华为P20 Pro细节更好,但也没有由于过度锐化而导致躁点上升,这也是大面积传感器更好高感光度+后期算法共同作用的结果。

变焦和光学防抖
我曾经天真地认为底大就是正义,虽然这点在DSLR领域是正义,但在手机领域并不是如此。之前索尼/魅族曾经采用1/2.7英寸的大底传感器,但也是由于大底,在手机空间就无法为其加上OIS光学防抖,结果得不偿失,我一度认为大底和光学防抖,如鱼与熊掌不可兼得。
而华为P20 Pro则创新地引入AIS功能,使得其可以兼顾大底CMOS和光学防抖。其大概的工作原理是通过三号摄像头取景判断手持的运动趋势,然后再通过AI后处理通过多帧稳定算法进行防抖,完成了我一度认为不可完成的任务。

人像场景
国外品牌手机的人像和美颜拍摄一直都是落后于国内品牌,究其原因是不够上心,国内对于人像和美颜的痛点更为迫切,迫使国内的手机厂商在这方面有更多的投入。而华为充分利用自己的技术优势,通过AI深度学习算法对人物面容进行3D面容识别,并对皮肤和色泽进行优化增强,上面样张P20 Pro显得更为红润动人。由于人物是实时变动的,需要实时将图像并通过同之前神经网络深度学习结果进行分析比对,变成3D面容信息,然后再进行优化,实时处理的运算量还是很大的。

HDR场景
这张场景是人像,但是逆光,窗外的场景亮度过高,iPhone X的窗外严重过曝,Pixel 2过曝控制较好,而P20 Pro控制更为完美,同时室内人物又没有过暗。由于深度学习的场景积累使得对于这样明暗差异大的复杂场景进行分割判断,设定不同的曝光策略,麒麟970强大的NPU性能使得这些处理更为游刃有余。
双摄最开始的用途就是副摄作为景深传感器获得场景的深度信息,通过多帧合成和后期处理的方式形成景深效果。但在AI时代之前的算法,对于前景和背景的识别区分存在问题,特别是比较复杂的植被,边缘部分就容易出现瑕疵。

景深效果和边缘判断
而基于AI深度学习之后的场景判断,由于大量场景的数据积累使得相机对前后景的判断更为精确,边缘部分的分割更为精细,但又不会出现上面不支持AI双摄复杂边缘处理不当的问题。
整体而言,麒麟970的NPU对19类500多个场景进行机器学习的训练,如猫狗、食物、人群、微距、夜景/文本、花卉、蓝天、雪景、沙滩等都有相应的优化方案。实现这样的功能需要大量的数据积累,在实时拍照的时候也需要通过神经网络对大量数据进行处理,因此对于算法和运算能力提出了很高的要求。华为P20的DXOMark登顶不仅仅是植根于CMOS和光学组件的优势,更有优秀的算法来锦上添花。而优秀算法需要强大的算力来保证,麒麟970的NPU功不可没。
针对AI深度学习的需求,华为颇有前瞻性地在麒麟970研发之初就加入了NPU独立单元。
前面提及,图像处理核心工作是场景分析识别,这个工作有两个阶段。第一个阶段是训练,需要给予大量的样本通过卷积神经网络Convolutional Neural Network进行学习分析,这个训练的过程可以是在移动设备本地进行,也可以是到云端大型服务器去操作,但后续的新照片,分析判断就基本只能在本地完成。虽然这只是单个全新样本的分析,但也需要和之前积累数据进行比对,并将这个分析归纳到机器学习成果之中。并且这个卷积神经网络Convolutional Neural Network过程要进行大量的分支判断过程,这需要强大的FP16浮点处理能力。

高通骁龙845的所谓“NPU”是Hexagon 685,Hexagon 685只是之前Hexagon 682的小改。严格的说,这个只算是DSP,而不是像麒麟970和A11那样真正意义上的NPU,只是简单化的向量处理单元,并且这个DSP计算能力还有可能被其他任务占用。骁龙845中更为复杂的AI机器学习任务依然需要GPU甚至是CPU来实现,而这样的代价是巨大的。

这个是TechInsights的麒麟970核心图,我们可以发现A53小核下方是NPU芯片区域,目前移动SoC中,仅有Apple A11和麒麟970有真正意义的NPU。

AI和深度学习不仅仅是硬件问题,移动AI处理是一个软硬结合的多层次系统项目。最上层是应用层,其下是API作为应用层和硬件层的交互应用接口。目前Android平台中AI加速的API主要有两个:一个是Google官方的Android AI Runtime,类似Windows下的Direct Compute,软硬件兼容性好,是行业规范;另一个是华为的HiAI,这个是麒麟独有的API。类似NVIDIA的CUDA,虽然硬件上有限制,但效率更高。在API层下面还有一个HiAI异构资源管理系统,分配任务给下面的硬件层。下面的硬件层可以是NPU,也可以是GPU、CPU、DSP,甚至是ISP。
这说明AI不是一定只能跑在NPU上,其他CPU,GPU、DSP什么也都可以,但在性能和效率上却有着根本性差别:GPU性能是CPU的4倍,而NPU则是CPU的25倍。除开绝对性能,能耗比的差距更为明显,NPU相比GPU和CPU有高达8倍和50倍的差距。这对于电量捉襟见肘的移动设备而言,这完全可以说是有本质的差距。
麒麟970用NPU对物品进行实时识别,性能可以达到16GFlops的运算能力,单个处理耗时仅为32ns,而工作电流仅为300mA,相比动辄几瓦的CPU和GPU而言是十分的绿色。


从鲁大师的AI性能测试我们可以看出麒麟970相对骁龙845的开发机性能优势明显。鲁大师的AI测试包含了InceptionV3、Resnet34、VGG16 3个项目,这3个测试项目是使用三种不同算法分别识别100张图片,通过耗时对性能进行评估。这三种算法基本是目前训练人工智能识图的神经网络仅有的三种算法,非常有代表性,可以说是当前AI深度学习算法的全部。这三种算法中,InceptionV3更多是依赖CPU和GPU,麒麟970和骁龙845两个平台差距不大;而Resnet34、VGG16在算法上更为先进,可以充分利用NPU的性能优势,因此在后面两个测试项目上带有NPU的麒麟970性能优势明显。
特别是VGG16算法,其包含看13个卷积层和3个全链层结合的16层结构,十分合适NPU。这个算法的计算精度是FP16,而CPU的发射都是FP32,有更高精度。但用来处理FP16时,单个发射还是只能处理单个FP16,这样资源就会严重浪费。因此对于VGG16这种以FP16为主的计算,对FP16优化过的NPU更为高效,可以更充分地利用资源。
有公司甚至在吹骁龙660的AI性能,但骁龙660的Hexagon 680 DSP根本没有FP16计算能力,那AI是靠什么来算?CPU还是GPU?的确它可以跑AI,我们也不能责难它虚假宣传,只不过性能和功耗不好看而已。
在AI之前的时代,提升摄像画质对于没有底层研发实力的品牌并无明显门槛,只需要舍得多花几美元找索尼爸爸买更好的CMOS,再忍受更低的良品率硬上大光圈,套用高通或者三星的公版ISP算法折腾折腾,也可以做出不错的拍照手机。然而在AI到来以后,传统思路就不再行得通,单纯的比拼硬件顶多使没有底层研发实力的品牌可以攒出不错的硬件。但如果在基于AI深度学习的智能算法上存在缺失,就会使得产品理念完全落后。两个梯队的差距就被拉开,继而出现鸿沟,最终很难跟上顶级AI企业的水平。
而拥有算法研发实力的公司境遇虽然略好,可以参与进AI深度学习的游戏。但这些公司缺乏芯片级的研发能力,在上游芯片提供商不能提供足够NPU算力产品的情况下,也只能怨天尤人而勉强跟随。
因此,现在有AI机器学习开发能力的企业能算是二流,但有芯片研发能力和平台生态构建的企业才是顶级。华为在底层有麒麟品牌作为基础,中间有HiAI和开发机作为平台支持,上层更有消费级的电子产品和软件应用直接同终端客户接触,这样的生态体系就是一个健康可持续发展的AI生态。对于消费者而言,基于深度学习的AI只是个黑盒,用户并不需要去了解其工作原理和方式,只需享受其美滋滋的成果即可。而华为麒麟就是这种美滋滋的幕后英雄,她的努力训练将会使得以后我们的生活变得更为美好。今日头条