HMS Core AR Engine 2D图片/3D物体跟踪技术 助力打造更智能AR交互体验
来源:榕城网 发布时间:2022-05-26 15:12:42

AR技术已经被广泛应用于营销、教育、游戏、展览等场景。通过2D图像跟踪技术和3D物体跟踪技术,用户只需使用一台手机进行拍摄,即可实现海报、卡牌等平面物体以及文物、手办等立体物体的AR效果。尽管近年来2D图像跟踪和3D物体跟踪算法已经取得了很大的进步,但受限于环境等因素影响,效果仍然有很大提升空间,是目前AR开发者的研发难点。

HMS Core AR Engine提供了2D图像和3D物体的端云协同跟踪技术,让开发者更简单便捷地开发AR类应用,让用户拥有更丰富的AR交互体验。

2D图像跟踪技术

端云协同2D图像实时跟踪技术已率先应用于Bilibili会员购,购物者在选购时能够浏览商品的AR特效,多角度、近距离地与IP衍生商品实现互动,从而获得全新的AR购物体验。据会员购后台数据统计,具备AR特效的商品销量更好,AR活动参与率是普通游戏参与率的2倍左右,助力会员购平台收入提升。

传统的纯端侧2D图像跟踪方案,如果开发者要让新的图片支持AR特效就必须更新应用版本,有较高的版本维护成本,而且随着支持AR特性图片的增加,应用的体积也会不断增大。为此,AR Engine采用端云协同的架构解决该问题,开发者仅需将图片上传到云端即可快速发布新图片的AR特效,端侧应用版本无需更新,应用体积也不会因此而增加。

端云协同2D图像跟踪技术原理图

端云协同2D图像跟踪技术主要涵盖了:

1. 云侧图像特征提取模块

2. 云侧向量检索引擎

3. 端侧视觉跟踪模块

在提升云端服务的响应速度方面,端云协同2D图像跟踪技术利用硬件平台加速,开发了软硬协同的高性能向量检索引擎,实现海量特征下的毫秒级检索响应。

3D物体跟踪技术

在文物介绍、商品展示、AR教育等场景,AR Engine还提供了端云协同3D物体实时跟踪技术。该技术能够实现3D物体全息式信息展示效果

端云协同3D物体实时跟踪技术效果图

现实生活中,会存在不同纹理材质的3D物体,例如雕塑类的纯色弱纹理材质,或者金属器皿类的反光现象,3D物体也会受光线变化导致表面出现阴影,这些场景都对3D物体跟踪带来很大的挑战。为了实现在各种场景下均能快速准确的进行识别跟踪,AR Engine使用多个AI网络组合完成3D识别定位功能,分别完成对象检测、位姿粗定位、位姿优化。

端云协同3D物体跟踪技术原理图

端云协同3D物体实时跟踪技术主要涵盖了:

1. 云侧训练样本AI合成模块

2. 云侧AI网络自动训练模块

3. 云侧AI网络推理模块

4. 端侧视觉跟踪模块

在对AI网络进行算法训练时,传统的训练样本人工标注方式,往往存在工作量大、开发周期长等问题。为此,AR Engine结合海量的离线数据和对抗生成策略,设计了训练样本的AI合成算法,能够免人工标注,仅依赖合成样本就可以实现复杂场景下3D物体的精准识别。

端云协同3D物体跟踪技术在文物介绍场景,已助力华为河图为莫高窟实现全息式文旅导游体验,帮助游客随时探究洞窟的内部细节。

华为河图的莫高窟全息式文旅导游效果图

以上技术来自华为2012中央媒体技术院,通过AR Engine面向开发者开放,在广告营销、教育、文旅等场景为用户带来差异化的AR体验。

更多AR技术的信息,欢迎收看5月27日19:00-20:00 HMS Core Discovery第15期直播,让我们一起探索HMS Core AR Engine是如何帮助开发者们构筑立体世界,打造沉浸式营销的服务体验 。

欢迎访问华为开发者联盟官网-HMS Core AR Engine

标签:

猜你喜欢

天津欧亚肛肠医院为患者揭示:肛周脓肿为何在肛肠

肛肠疾病中常听说的是痔疮,虽然得了肛肠疾病不管是哪一种都很让人讨厌,但肛周脓肿在肛肠病中算是...更多

2022-05-27 13:32:16

天津圣爱肛肠医院疫情期间正常接诊!这六个“预兆

作为人体最大的消化器官,成年人大肠与小肠的总长度约有6至7米,其健康与否对人体的整体健康状况都...更多

2022-05-27 12:54:02

《经典咏流传》第七期真情流露,六个核桃邀你感受

山高水长,物象千万,非有老笔,清壮何穷。5月21日晚8点档,由六个核桃赞助的大型文化音乐节目《经...更多

2022-05-27 12:48:03

天津欧亚肛肠医院看肠道值得信赖 改掉5大习惯别

作为人体最大的消化器官,成年人大肠与小肠的总长度约有6至7米,其健康与否对人体的整体健康状况都...更多

2022-05-27 12:44:54

莫干山板材产品创新活力,持续突破环保标准天花板

2000年至今,中国板材行业对人造板环保的探索从未止步,头部企业莫干山板材在人造板的木材胶粘剂领...更多

2022-05-27 12:42:33

酒快到丨首创“云招商”超万人观看,签约30多家,

前言疫情在一定程度上给酒业市场带来了很多深远的影响,比如很多酒友在经历这次疫情之后,在消费习...更多

2022-05-27 12:39:55

为国民传递快乐情绪 爆款综艺《萌探探探案》第二

5月27日,由爱奇艺出品、爱奇艺打火机工作室制作的IP推理欢乐解压真人秀《萌探探探案》第二季正式在...更多

2022-05-27 12:24:20

杜向宇Dustin:越是逆风,越要逆袭

从体重200斤瘦成粉丝口中的帅气老公,从月薪800元的化妆助理到亚洲发型化妆大赛最年轻冠军教练、国...更多

2022-05-27 12:20:19

从这个热销多年的万达红盘 看昆明人的置业逻辑

1938年前后,昆明市区出现了第一个近代史上的新型住宅——篆塘新村,地点在今天的环城西路以东,占...更多

2022-05-27 11:39:48

广州大型宴会活动场地的选址要考虑哪些条件?保利

一个企业立足发展,对外业务往来规划,往往会需要举办各种各样的大小型宴会及活动。包括但不限于促...更多

2022-05-27 11:34:28