位于达拉斯的得克萨斯大学的大卫·拉里博士领导的一个研究小组开发了一组自主机器人设备,可以使用在危险或难以到达的站点进行调查和收集数据,提供更多和更快的比人类能够提供见解。

金宝搏官网技术简介:是什么激励你使用多个自主设备来收集整体环境数据集?

大卫博士莱安:好吧,这次旅程有两部分。首先是驱使我的激情。我深深希望拥有全面的整体感知,让人们摆脱伤害的方式,以便有适当的可行的见解来努力做出决定。这是我的动机,但我到这一点的实际旅程开始几年前 - 近30年前。

当我在剑桥读博士的时候,一个离我很近的人发现了臭氧空洞,他叫乔·法曼。所以,在我的博士学位上,我开发了第一个臭氧损耗的三维全球模型。它是一个化学模块,是全球模型的插件,被欧洲中期天气预报中心使用。有了我的插件,我可以做臭氧相关化学的全球模拟。所以,我想问的一个明显的问题是:这个模型有多好?为了验证它,我必须收集尽可能多的数据源:卫星、飞机、地面传感器和气球。其中的一个

我所面对的有害的事情是工具间的偏见。所以,我在寻找一种方法来帮助处理这些偏见。虽然这是30年前的事了,但我偶然发现了机器学习。那是在它被广泛采用之前,我发现它做得很好。这让我开始思考我们还能用它做什么。在这个过程中,我们是最早开发化学数据同化技术的人,这一技术现在被世界各地的机构用作空气质量预测系统的一部分。

UT DALLAS研究人员开发的空中机器人可以携带多个摄像头,一系列车载传感器和沉船辐照度光谱仪 - 所有这些都用于收集映射的数据并学习环境的特征。(图片信用:Lakitha Wijeratne / UT达拉斯物理博士生)

我们在数据同化中做的一件事就是要注意不确定的注意力。我在美国宇航局的一部分工作正在创建全球遥感数据产品。有效的方式是,您使用遥感信息来创建数据产品,例如对全球海洋的大气或陆地表面或水下组成的组成。您可以从卫星获取遥感数据,并将其与原位的原始事实进行比较。通常收集培训数据,以确保可能需要超过十年左右。这是一项相当一项任务,因为您希望能够在全球遇到的诸多条件和上下文中的许多不同的条件和上下文。

我们的自主机器人团队在大约15分钟内收集了与通常用于创建基于卫星的遥感数据产品相同的数据量,尽管是针对一个位置。所以,它可以进入一个新的环境,一个它以前没有见过的环境,然后迅速地进行精确的协调观察。在这种情况下,团队是一艘船和一架飞行器。我们选择了船,因为它比地面测量更有挑战性,因为存取问题。

这种类型的范式不仅有助于帮助迅速创造新产品,而且还可用于校准和验证卫星观察,它对帮助让人们摆脱危害的方式也很有用。如果您有一个非常受污染的环境,或者在其中有威胁进入它的环境,机器人团队可以以协调的方式收集适当的数据。

我们论文中的研究使用了一种带有高光谱成像仪的飞行器,能够非常迅速地收集大量数据。所以,即使我们现在最快的数据管道,也许是5G蜂窝通信,也不足以满足高光谱图像流所需的带宽。我们用机载处理来解决这个问题,这让我们可以在飞行中创建这些数据产品,使用机载机器学习,然后流媒体。最终的数据产品,比如污染物的丰度,是我们可以轻松实时传输的小得多的数据。

它真的能够快速收集全面的数据,可以用来让人们伤害的方式,描述生态系统,成为一个应急反应活动的一部分,说飓风后,引起了附近一家化工厂附近的洪水或任何这样的应用程序:有害的藻华,石油泄漏,或各种农业应用。

它被设计成一组灵活的组件。就像现在我们习惯在手机上有一个应用商店,或者特斯拉汽车有空中更新——这些都是软件定义的传感器,有自己的应用商店,可以更新,以提高它们的能力随着时间的推移。

金宝搏官网技术简介:您有飞行传感器和地面传感器,您将信息发送回到哪里?所有处理的全部如何?它在哪里处理过?

莱利博士:将此视为智能传感器的集合。有一组事情:首先有一个软件定义的传感器。软件定义的传感器将是智能传感封装,它结合了物理传感系统,例如相机,高光谱相机,热摄像机或质谱仪。它可以是任何具有周围包裹的软件/机器学习的传感设备,然后提供该设施提供一些校准和/或派生数据产品。大多数传感器需要某种校准。

通过将传感器与软件/机器学习包装器耦合,我们可以做一个复杂的校准,让我们拥有更灵活的系统。因此,软件定义的传感器也可以拥有自己的App Store。这些软件定义的传感器中的一个或多个可以位于一个平台上,该平台为传感器提供电力和时间和位置标记,其中所有数据它产生,以及通信连接,以及在相关的移动性的地方。

金宝搏官网技术简介:所以,这是一个物理平台?

莱利博士:是的 - 在此示例中,我们有两个平台。我们用高光谱相机和热摄像头和近几辆传感器进行了机器人空中车辆。然后第二个平台是机器人船,它在它下面的水中有一整套传感器,包括声纳和各种组成传感器以及超声波气象站的顶部。

软件定义的传感器加上平台形成哨兵。这个哨兵是通常可以移动的东西,进行测量,处理数据和/或流它。

UT Dallas的研究人员开发了一个可在危险或难以到达地点使用的机器人设备的自主团队。在一起工作,机器人可以在几分钟内进行调查并收集数千个数据记录。
UT Dallas的研究人员开发了一个可在危险或难以到达地点使用的机器人设备的自主团队。在一起工作,机器人可以在几分钟内进行调查并收集数千个数据记录。(图片信用:Lakitha Wijeratne / UT达拉斯物理博士生)

多个哨兵一起工作可以形成一个机器人团队,可以互相配合,以提供比他们自己的任何一个能力的能力。在这种情况下,具有传感器的空中机器人与水机器人合作 - 机器人船及其传感器。由于它们在同一网络中,空中机器人,通过设计,滑过与船上相同的路径相同。船措施衡量水中的内容,而空中机器人从上面从上面俯视水中的遥控光谱相机,并使用机器学习,了解从我们的高光谱相机看到水的组成的映射。Once it's learned that mapping, it can now rapidly fly over a much wider area and provide for us, say, a wide-area composition map of the oil concentration, the chlorophyll abundance, dissolved organic carbon, or whatever component of the water we’re interested in.

我们可以这样做,从未见过之前的环境 - 机器人团队合作以收集此培训数据。机器学习使用培训数据来创建像广域成分地图等新数据产品。一旦训练了该模型,可以从空中测量完成高光谱传感,它可以在机上处理空中车辆,然后实时流动。通常情况下,这是一种大量的数据,即它可以花费大量的时间来完成嘎吱嘎吱的数字。由于您无法实时流式传输它,因为它非常大,能够在船上进行边缘处理它,然后流流,而不是为您提供新功能,但它也降低了延迟,延迟能够甚至延迟做这样的任务。

金宝搏官网技术简介:这就像他们对边缘处理的传感器讨论的是,以减少您必须发送的数据量。

莱利博士:确切地。

金宝搏官网技术简介:你会考虑你刚刚做过原型的工作吗?

莱利博士:是的,我们必须在某个地方开始,所以这是我们的第一步。

金宝搏官网技术简介:你会如何预见它实际上被用来 - 说有一场灾难和当局想要使用你的系统,他们会做什么?

莱利博士:这个原型只是一个更全面的愿景的一个例子,这是最小的实现可能是一个多机器人团队。在这里,我们刚拥有两个机器人,空中的一个和机器人船。我们选择了这两个人,因为能够感知水有进入挑战。但是这支球队可以很容易地拥有更多成员,比如地下行走机器人,或者可以将整个机器人团队带入潜在的危险环境,以远程部署。

它可以响应像深水地平线这样的漏油,我们看到了野生动物影响的照片,渔业受到影响,而且漏油溢出正在发生。或者可以有化学泄漏。例如,当Hurricane Harvey击中休斯顿时,随着大量加工厂,这些设施造成沉重的淹没,附近的一些邻居被污染的水包围三侧。水中的挥发性有机化合物最终推出了呼吸问题,引起了严重的呼吸问题 - 人们不知道他们呼吸是什么,但他们知道它正在影响他们。进入清理的工人也受到污染水的影响。

有了我们的传感系统,你就能确切地知道你在处理什么,这样你就可以适当地调整你的反应。但它也同样适用于其他情况,比如有害的藻华。或者即使没有灾难,这种类型的能力也可以用来描述生态系统,并对基础设施进行调查。比如,在公路、铁路和桥梁上,具有传感功能的自主机器人可以迅速进行详细测量。

现在想象一个不同的场景。假设你有空中机器人就像这个例子中一样。利用高光谱、热成像和合成孔径雷达来观察表面的纹理,它可以与一个地面机器人结合,机器人有一个探地雷达来寻找空隙或其他缺陷。无论是隧道还是公路,都是由于使用和风化而形成的。对于农业也有很多不同的情况。它被设计成全面的感知,就像你可以一起使用的乐高积木,就像即插即用。您将能够迅速地将它们用于各种现实生活用例中,其中实时数据驱动的决策将带来更大的透明度,使人们远离危险。

金宝搏官网技术简介:如果有人想要使用此系统,他们是否需要拥有自定义的机器人和无人机,或者您是否可以将其安装在现有设备上的包裹?你如何设想这种变得实际?

莱利博士:我不得不努力让事情融合在一起。它是购买设备的一件事,它是组件一起工作的另一件事。我们买的一切都在架子上,因为我们的努力进入了,因为想要更好的单词,聪明,如软件集成。

已经说过,我们使用机器学习的这些软件设计传感器的关键步骤是校准参考或飞行学习。我们正在使用与空气质量相同类型的空气质量和分布在真正昂贵的参考传感器上校准的城市的低成本传感器。我们可以将传感器部署在邻域刻度上,以前将达到成本上的禁止。

通过能够以与在这个机器人团队中相同的方式校准低成本传感器,我们校准了通过对原位组合物的遥感能力进行的高光谱测量,在这种情况下,和水您可以实现否则非常挑战的事情。

它真的是传感器网络,自主哨兵网络使用机器学习共同努力,让您的任何组件都可以自行执行。

金宝搏官网技术简介:您是否预见到由私营公司建造的商业化,或者您认为政府参与其中?你看到什么进展?

莱利博士:我的梦想向前往往是有一个个人,市政或公司的商店,可以准备好访问这些类型的能力,而不仅仅是获得传感器,也是后端服务。所以当你把这个东西放在一起时,它只是有效,而且你不必经历长期发展。国家科学基金会将其分类为网络物理系统。网络物理系统基本上是传感系统,耦合算法,以帮助您更好,及时的决策。

所以,我所有的梦想,以及我们中的一些人正在努力的——我们欢迎各种各样的合作伙伴——是拥有一个网络物理社会观测站。它必须是一个全国性的设施,就像一个拥有巨大望远镜的天文台,因为没有人能负担得起这么大的规模。

想象一下,您有一套具有多个组件的传感功能,在我们的项目中是空中机器人和机器人船。但我们的系统实际上具有九种哨兵类型,可用于各种类型的情况。我们可以使用卫星和天气雷达的遥感。除了空中车辆外,我们还有街道级别传感器,流媒体24/7空气质量,光强度,电离辐射等。我们有行走的机器人,我们有电动地面车辆和机器人船,但随后我们还有可穿戴传感器。

我们也希望能够有多尺度的传感从全球大图片,从卫星。那么,假设我们现在回到哈维飓风的例子。早在飓风哈维登陆之前,我们就可以通过卫星看到它,然后当它接近陆地时,通过天气雷达看到它。但在它登陆的那一刻,微环境细节就变得至关重要。特定溪流的精确高度会对当地环境产生很大的影响。所以,我们想要拥有全球范围和超局部范围的信息因为你和我都生活在非常局部的范围内。为了能够同时感知大尺度和局部尺度,我们真的需要多个哨兵。

但是,可穿戴的传感也非常重要。例如,在我们正在做的一些并行工作中,您可以看到新闻标题,说空气质量差使您“愚蠢”。但愚蠢的愚蠢是多么愚蠢?什么污染物可以让我们比其他人更愚蠢?因此,在我们的一项研究中,我们正在使用全面的生物测量传感和估计超过16,000个参数,以及综合环境传感约2,000个环境参数,以了解环境状况如何影响我们的自主反应。

所有这些设计既是为了让人们远离伤害,也是为了发现房间里看不见的大象可能会影响我们的健康。一旦我们意识到这是什么,我们可以量化它,通常有一个明显的路径,数据驱动的决定,使事情更好,然后采取适当的下一步来监控我们的进展。

这真的是我的梦想 - 成为这种整体感情的催化剂,让人们摆脱伤害的方式:在社会服务中感受到。我们有许多原型,我们正试图带到他们可以使用的程度。因此,我们始终欢迎合作伙伴关系,帮助加快各国政府,来自个人,地方市,社区团体,公司。我们正在使用所有这些类型的实体。

金宝搏官网技术简介:听起来你是一种发明全新的基础设施。

莱利博士:我们在尝试——这基本上是由需求驱动的。整体信息可以给我们提供信息,让我们做出适当的决定,从而产生巨大的影响。如果没有适当的基础设施,要做到这一点并非易事。

金宝搏官网技术简介:听起来很棒,我只是希望有一天能实施它。

莱利博士:我也是。我们走了很长的路要走。我想我们正在进行第一步。

另一点是身体之外的,我还没提到,就是你可能会有像旷课这样的情况,这会导致糟糕的学习结果。但事实证明,旷工往往是由哮喘等疾病引起的。哮喘是由高花粉或空气污染引起的,它实际上是一个级联效应——社会与环境相互作用。我们不希望这是单向的。我们希望这些观察的触发器既能是我们从直接的感知中看到的,也能是社会问题,比如健康结果集群或藻类繁殖,它们可能会破坏渔业,或石油泄漏——这是一种双向的互动。

拥有一个可以将所有这些环境参数层与死亡率,缺勤,癌症发病率等的社会层组合在一起的数据平台可以帮助实现决策过程帮助个人,因此更透明和有效。

金宝搏官网技术简介:你现在在做什么?你的下一步是什么?

莱利博士:对于这个机器人团队来说,下一步就是要从各个方面增强这个自主团队的能力。然后我们想扩展它,让团队有更多成员。例如,有一种两栖的地面车辆可以同时携带船只和飞行器进入受污染的环境,然后部署它们,同时也可以自己进行测量。同时,让机器人成为补救措施的一部分。

这是不同的组件在一起。相同类型的团队也可用于查看基础设施的维护,无论是道路或轨道还是桥梁,还可以用于环境质量的其他方面 - 空气质量,水质。真的,这个概念证明只是一个原型来表明:“嘿,真的这可以完成,现在我们想在这么多不同的应用程序中扩展它。”

此外,这些可以作为卫星任务的原型。你可以想象一个管道你在空中飞行器上进行了概念验证。然后它可以过渡到其他平台,比如立方体卫星。这也可以是验证过程的一部分,为卫星任务收集数据,以及为我提到的任何不同目的收集数据。

这次面试的编辑版本出现在2021年6月的技术简报金宝搏官网


金宝搏官网科技简报》杂志

本文首次发表于《华尔街日报》2021年6月号金宝搏官网杂志。

阅读此问题的更多文章这里

阅读档案中的更多文章这里