12月19日,在2019 oppo开发者大会(odc19)技术论坛上,oppo围绕5g、ai、ar及终端安全等技术方面的规划与成果展开,聚焦“五大系统能力开放引擎”,与开发者共同探索5g时代的新机遇。
除了技术论坛对oppo各项技术进行深度讲解外,超1000平方米展区中还设立了多个技术项目的体验区,开发者及合作伙伴可以现场体验多人ar游戏、5g云游戏、3d手部追踪、人体3d建模等各项“黑科技”。
以5g为支点撬动ai、ar、iot等技术融合,助力未来智慧生活
5g时代,拥抱智能,万物互融。5g科技的进步为用户创造了更便利的生活,技术的革新更为社会发展带来更高效的运作。
oppo 在 5g 发展的过程中做出了卓越的贡献。早在 2015 年,oppo 便开始着手于 5g 的研究工作,不仅全程参与了 5g 标准的制定,并且作为 5g 终端行业标准的起草单位之一,提交了超过 2500 族 5g 专利的申请,向国际标准化组织 3gpp 累计提交了超过3000 篇的文稿。
据介绍,早在2019年2月份,oppo就利用5g实现全球首次的微博直播,成功展示了云游戏业务。同年5月份,oppo第一款5g手机成功在欧洲瑞士电信成功上市。
此外,oppo 还在积极探索未来在个域网和智能家居领域的 5g 边缘,寻求于工业物联网层面上的突破,让 5g 技术的发展惠及更多企业。oppo希望以5g为支点,撬动ai、ar、iot等技术融合,助力未来智慧生活。
oppo ai语音语义:神经机器翻译引擎将开放
2019年,oppo机器翻译团队取得很多成绩,例如在wmt19竞赛中获得了英中翻译的第四,在ccmt2019竞赛中,获得了多语言日英翻译专利的冠军,英中翻译的亚军。
当前,oppo神经机器翻译做的重要工作内容有deep transformer、accelerating transformer decoder、fuse bert into transformer、model ensemble、reranking、layer-attention、back-translation。此外,oppo神经机器翻译还采用了bpe,能够效缓解机器翻译当中的未登录问题,起到正向的效果。目前,oppo机器翻译引擎在通过内部测试,在行业已经处于较高水平,未来将落地到oppo设备的更多翻译场景中。
据了解,oppo神经机器翻译在预计在2020年首先开放中英、英中、中日、日中的翻译服务,其他语种的机器翻译服务也将会陆续开放。
“黑科技”:3d手势识别、人体3d建模和混合现实
在技术论坛,oppo还展示了自研的slam算法的“黑科技”,包括人体3d建模和混合现实,以及3d手势识别。
当前,为了捕捉人体的3d形状,传统上有被动解和主动解。当前,3d建模采用主动解决方案,通过精密的 3d 扫描设备实现,该方案需要昂贵的固定设备设置,既不方便,又不适合广大消费者使用。随着用户及应用产品对3d建模的需求越来越高,oppo通过多视图立体声管道,提出基于单张rgb图像的人体3d建模,它基于多视角深度融合和单张图像,易于设置,可以满足日常场景,适合非专业用户随时使用。
在3d手势识别技术上,手的3d跟踪对于ar/vr是必不可少的组成部分,是下一代最主要的3d人机交互技术,是ar/vr中的鼠标,它在下一代计算平台的地位类似于多点触控对于触屏手机的地位。oppo为了开发自己的手势识别算法,购买了专门采集数据,样本超过两百万。基于采集的数据和深度学习,oppo开发了紧凑、高效、准确、实时、低功耗的3d手部追踪算法。
arunit2.0 连接虚实 连接你我
oppo 开放平台的 arunit 系统能力,能够为开发者提供 ar 底层驱动引擎、ar 内容创作工具链、软件 sdk、开发者应用工具和模块等,帮助开发者降低研发接入平台的工作量。
arunit的追踪技术使用摄像头来标识特征点,并跟踪这些点随着时间变化在屏幕上的移动。通过结合移动信息与手机惯性传感器的数据,arunit能够在手机移动时确认自身的位置和屏幕朝向。
arunit对开发者而言,带来了诸多虚拟化价值。首先,能够帮助开发者为用户提供足够有趣的内容和服务,满足用户的使用场景;其次,虚拟世界拥有足够丰富的资源来支撑开发者实现这样的内容和服务;再者,物理世界与虚拟世界能够紧密的对齐、关联,并导入资源;最后,用户在物理世界的行为也能够完整的映射到虚拟世界中。
因此,oppo在arunit2.0中做了如下的升级:空间计算升级,更注重尺度的重要性;环境理解升级,更注重位置的重要性;多用户体验,更注重信息的密集性;骨骼跟踪与手势识别,更注重互动与趣味性。
此外,全新升级的arunit2.0开放计划也在odc19技术论坛正式公布。其中,空间计算升级和多用户体验将在2020年q1开放,而环境理解升级和骨骼跟踪与手势识别预计将在2020年q2开放。
cameraunit&mediaunit:影像多媒体能力开放,共建清晰流畅新视界
目前,系统能力与三方应用呈现需求的存在重合与隔断,用户体验存在断层,通过开放系统能力,可以让系统与应用体验相融。因此,oppo在odc19宣布“五大系统能力开放引擎”。
其中,cameraunit主要侧重影像类用户体验。cameraunit的相册能力可以将相册中智能人物分类、图像多标签分类、地点分类和智能搜索等能力进行封装,通过contentprovider以跨进程的方式开放至三方应用,用户在三方应用选图片发送时,通过图片分类和搜索可快速定位到照片,发图的效率得到前所未有得提升。
在拍摄能力方面,cameraunit超广实现了116°超广镜头,打开前所未有的广阔视野,采用主摄+长焦镜头+超广角镜头组合,让三颗摄像头「接棒式」实现 16-160mm「全焦段」覆盖,释放更多影像创作的自由度,三摄组合内含双ois光学防抖,智能感知抖动并校正,拍远处也清晰。而超级防抖,则同时结合ois光学防抖和eis电子防抖,通过多源传感器信息融合和防抖场景智能分析,陀螺仪频率提高了2~3倍,从而更加灵敏地感应手机的运动状态,实现视频拍摄中的超级防抖。此外,超级夜景功能基于raw域根据不同摄像头精心调试的夜景算法,结合各种场景信息,利用平台dsp加速,可以取得高质量的夜景成像效果。开发者接入cameraunit的拍摄能力,能够让用户直接操控手机原生相机,拍出更清晰的画面。
mediaunit系统能力主要表现在“听”和“视”方面的用户体验上。
在听觉方面,k歌耳返采用低时延解决方案实现听唱同步,系统级优化的语音系统,智能美化音色、节奏和音准,同时支持5.1&7.1声道技术,增强听音辨位方向感。此外,基于audio virtualizer算法,通过耳机还原游戏内的声音距离和方位,并支持frc功能。
在视觉方面,roi编码支持23~265格式解码,且通过软硬结合,灵活控制编码,在直播场景或视频通话场景提高清晰度,保证观看效果,开启roi编码最高可以节省35%的带宽。特别值得一提,还有ai视频插帧,当前视频领域大部分电影或者电视剧只有24帧或25帧,而手机屏幕的刷新率已经到了90帧甚至更高,借助oppo在视频生产方面的技术,ai视频插帧能够为用户带来更强的画面流畅度。
hyper boost&link boost:共建用户畅爽新体验
hyper boost是oppo自主研发的全场景、系统级资源调度优化方案,从系统、游戏和应用三个层面对智能手机全面加速。hyper boost能力目前已通过oppo开放平台对外开放,该技术能力接入快速简单、sdk体积合理、业务兼容性强,已有超过60+款游戏及应用接入。
hyper boost主要包含场景加速、智能帧率、触控优化三大核心能力。在场景加速方面,对运存、存储两块领域挖掘,让资源调度更加智能,并率先与引擎公司合作,针对游戏中对局、团战、决赛圈、开氮气等场景进行定制加速。在智能帧率方面,继续赋能帧率稳定、减少卡顿,通过智能帧频进行锁大核提频,预防和缓解卡顿,让游戏帧率更稳定。在触控优化方面,提供多样化4d细腻振感,并开放马达波形效果库,开放能力聚焦cpu/gpu,通过对android底层代码的一一检查,oppo优化了大量代码逻辑,每一帧的响应时间都可以减少3~5毫秒。同时,还对同步信号进行了优化,使得触控帧可以更快的显示在屏幕上。
link boost主要包含智能链路聚合能力、双wi-fi能力和多路tcp能力。智能链路聚合能力将无线进行网络访问,根据实时进行优化,开启ssa以后,在wi-fi信号很好的时候,开启了sla,打开网页速度提升非常明显,在wi-fi信号很弱时候也会提高。双wi-fi能力能够智能匹配用户刚刚连接过的另外一个次wi-fi,去辅助网络加速,让网络的分流完全智能化,使得网速达到倍增效果,改善网络不稳定问题。多路tcp能力能够允许双方进行多条tcp的链路,充分利用多路径提高可靠性和吞吐量。
hyper boost和link boost两大系统能力,通过软实力将充分发挥设备硬件能力,与开发者携手共建用户畅爽新体验。
oppo云安全为互联网生态保驾护航
目前,coloros 全球月活跃用户已超3.2亿,覆盖140国家和地区。oppo为了保障用户信息安全,进行了全球化布局,在东南亚、印度和欧洲建立了相应的技术中心,以应对全球化互联网信息安全。
在互联网安全防御体系建设方面,oppo积极开展安全组织的建设,包括终端安全、信息安全、安全部门,以及多个安全实验室,从而保证oppo用户的互联网信息的安全性。此外,为了安全品牌的建设,oppo上线了全球500家以上的白帽子,并给予丰厚的奖励。
在移动端的安全能力检测方面,采用自动化和人工化的检测,对app进行渗透分析和安全评估,防止别有用心的应用使用第三方的sdk,以免给用户带来安全风险。此外,还有业务防刷和反欺诈sdk,为开发者的app提供实时的安全服务。
据介绍,今年9月份,oppo还拿到业内第一个泰尔信息安全五级认证。从硬件安全、系统安全、外围的接口安全,以及软件安全和数据安全层面,为用户及开发者提供更全面的安全保护。未来,oppo也会在ai安全、隐私安全等研究方向发力。
技术的进步带来用户生活的新变化,科技是行业和社会发展的核心驱动力,在万物互融时代趋势下,oppo将持续关注5g、人工智能、ar、大数据等前沿技术,并将致力于构建底层硬件核心技术与系统能力。
意向接入oppo“五大系统能力开放引擎”、云安全等各项技术能力的开发者及合作伙伴,可以通过oppo开放平台官网接入。