Bet|体育-首页

首页 > 新闻中心

谷歌用AI检测透明对象,实现玻璃上生成AR可视化效果

发布时间:2020-11-07  作者:Bet|体育-首页

首页|(映维网2020年02月14日)诸如RGB-D摄像头和LIDAR等光学3D距离传感器已在机械人技术中获得广泛应用,并正在为从无人驾驶汽车到自动使用器的一系列应用于分解极端富厚准确的情况3D同构。然而,诸如玻璃容器这样的半透明工具不会导致自制传感器的恐慌。

这是因为光学3D传感器是由假设所有外貌皆为朗伯(Lambertian)的算法驱动,即它们在所有偏向平均分配地反射光线,从而在所有视角下发生均匀漫衍的外貌亮度。可是半透明工具违背了这一假设,因为它们的外貌既反射又反射光线。

所以,来自半透明工具的大多数深度数据一般为违宪,或应有尽有不能自制预测的噪点。科技快报光学3D传感器一般来说无法检测半透明工具。

Bet|体育

例如,玻璃瓶没经常泛起在英特尔实感D415 RGB-D摄像头捕捉的3D深度图像之中(上方静态图);下方动图:凭据深度图像和点云方法建构的3D可视化科技快报否决机械更佳地感官半透明外貌,这不仅可以提升安全性,而且需要在非结构化应用于中打开一系列全新的交互,如可以处置厨具或分类塑料以展开重复使用使用的机械人,导航系统室内情况,或在玻璃桌面分解AR可视化效果等等。科技快报为相识决问题这个问题,谷歌与Synthesis AI和哥伦比亚大学的研究人员互助开发了取名为ClearGrasp的机械学习算法。

据先容,它需要凭据RGB-D图像估算半透明工具的准确3D数据。这主要归功于一个大规模制备数据集(谷歌日前某种水平展开了公开揭晓)。

ClearGrasp可以因应所有尺度RGB-D摄像头,然后用于深度自学来准确地修复半透明工具的深度,并一般子虚乌有训练期间不行见的全新工具。作为对比,以前的方法必须事前解读半透明工具,并且一般来说必须融合配景灯光的同构和摄像头方位。

在这项研究中,谷歌同时展示了将ClearGrasp构建到掉落和摆放式机械人的控制系统中。谷歌回应,他们注意到半透明塑料工具的捕捉乐成率有了显着提升。

科技快报科技快报1. 半透明工具的可用数据集科技快报要训练有效地的深度自学模型(如用作视觉的ImageNet或用作BERT的Wikipedia),你必须大量的数据。ClearGrasp也不值得注意。

失望的是,我们缺少半透明工具的3D数据集。诸如Matterport3D或ScanNet这样的现有3D数据聚会会议忽视半透明外貌,因为它们必须自制且耗时的标志过程。

科技快报为解决问题此问题,研发团队自行建构了半透明工具的大规模数据集,其中应有尽有50000多个具备适当外貌法线(回应外貌曲率),拆分蒙版,边缘和深度的图片真实感图形,并可用作训练种种2D和3D检测任务。每个图像最多应有尽有五个半透明工具,而它Bet|体育们要么坐落于平缓的地平面之上或手提袋之内,并且具备有所不同的配景和灯光。

科技快报研究人员同时划入了应有尽有286张真实世界图像的测试集,而它们具备适当的ground truth深度。对于真实世界图像,团队将场景中的每个半透明工具更换为具备完全相同姿态的绘制工具。

Bet|体育

图像是在种种有所不同的室内灯光条件下并用于种种布料和贴面配景捕捉,并且应有尽有散播在场景周围的不半透明工具。它们既还应有尽有制备训练集中于不存在的未知工具,又应有尽有新的工具。

科技快报2. 挑战科技快报通过半透明工具瞥见的变形配景视图不会误解典型的深度估算方法,但不存在似乎工具形状的线索。半透明外貌不会经常泛起镜面反射,并在光线充裕的情况中讲明为亮点。

由于这种视觉提醒在RGB图像中十分显著,并且主要不受工具形状的影响,所以卷积神经网络可以使用光线来推断出准确的外貌法线,然后再行将其用作深度估算。科技快报大多数机械学习算法都实验须要凭据单眼RGB图像估算深度。

但即便是人类,单眼深度估算都是一项艰难的任务。我们在估算平缓配景外貌的深度时会仔细视察到较小的误差,这加剧了摆放于其上的半透明工具的深度预计误差。

所以,研究人员指出与其须要估算所有几何图形的深度,不如修正来自RGB-D 3D摄像头的初始深度预计值,这将容许他们用于非半透明外貌的深度来确认半透明外貌的深度。科技快报3. ClearGrasp算法科技快报ClearGrasp用于3个神经网络:一个用作估算外貌法线的网络,一个用作遮盖界线(深度不倒数)的网络,网卓新闻网,另一个用作遮挡半透明工具的网络。

感测器用作移除归属于半透明工具的所有像素,以便需要填满准确的深度。然后团队用于了全局优化模块,用于预测的外貌找到来引领修复的形状,以及用于预测的遮盖界线来维持有所不同工具之间的疏散出来。

【首页】。

本文来源:Bet|体育-首页-www.hnxfjzc.com

点击返回
下一篇:首页-区块链在公益领域的应用探索与实践 上一篇:CT有效辐射量该如何计算?