2024-10-08 04:26:57
和视觉感知系统的比拼了✿ღ,谁能在新时代把握AI算力的红利✿ღ,就有可能率先抢下这一蓝海市场的第一块蛋糕✿ღ。而赋予这一红利的前提✿ღ,恰恰就是机器人AI芯片以及相关的软件开发平台✿ღ。
作为AI芯片领域的龙头✿ღ,英伟达的Jetson AGXOrin在去年一经发布✿ღ,就获得了机器人行业生态的追捧✿ღ。200TOPS@INT8的算力相比上一代的Jetson Nano✿ღ、Jetson Xavier都有了数倍的提升✿ღ。而上一代产品仍是当时乃至现在的主流产品✿ღ,Jetson的开发生态拥有100万开发者和6000多家公司✿ღ,小米的Cyberone✿ღ、宇树的B1等产品都在使用Jetson硬件作为感知计算平台✿ღ。
不过Jetson AGX Orin面向的依然是行业级的市场✿ღ,面对消费级的产品✿ღ,仍需要入门级与中端级的产品来替代原先的Nano和Xavier✿ღ。因此英伟达随即又发布了全新的Jetson Orin Nano和Jetson Orin NX✿ღ,根据配置不同✿ღ,最高算力分别可至40TOPS和100TOPS✿ღ。
与Jetson AGX Orin一同更新的Metropolis✿ღ、Omniverse Isaac和TAO的工具套件✿ღ,进一步减少了AI部署所需的时间成本尊龙网站✿ღ,又能解决感知✿ღ、自然语言理解等机器人开发过程中的挑战✿ღ。自去年第四季度英伟达开始供货以来✿ღ,今年新发布的一众机器人产品纷纷用上了这颗芯片✿ღ,而其作用也不再只是用于感知计算✿ღ。
以国产机器人厂商宇树为例✿ღ,他们发布的Unitree Go2 EDU版本可以选配英伟达Jetson Orin高算力模组✿ღ,以提供额外的40到100TOPS算力✿ღ,结合来看选配的最低是8GB的Jetson Orin Nano✿ღ,以及16GB的Jetson Orin NX✿ღ。Unitree Go2也接入了GPT✿ღ,在与人进行问答交互时也更加智能日本漫画大全无彩翼漫画✿ღ,并非程序式的反应✿ღ。
这对于陪伴型机器人来说尊龙网站✿ღ,或许意味着跨世代的进步✿ღ,在接入GPT后✿ღ,一切交互活动都会变得人性化✿ღ。在理解指令语义后✿ღ,也能通过GPT的代码生成能力自动生成机器人的控制代码尊龙网站✿ღ,从而在无需额外编程的情况下✿ღ,触发更为复杂的动作指令日本漫画大全无彩翼漫画✿ღ。而目前Jetson是接入大模型最为全面的机器人硬件平台✿ღ,故而为国产机器人厂商结合国产大模型也提供了支持尊龙网站✿ღ。
地平线虽是国产自动驾驶芯片的龙头厂商尊龙凯时人生就是博·(中国)官网✿ღ,✿ღ,但这家名字里带了Robotics的公司✿ღ,也在稳步推进着机器人的开发✿ღ。在去年✿ღ,地平线推出了国内首个软硬一体的机器人开发平台Horizon Hobot Platform✿ღ,以及基于最新旭日X3芯片打造的旭日X3派开发板✿ღ。
Hobot平台除了包括旭日3芯片外✿ღ,还包括机器人操作系统TogetherROS✿ღ,机器人参考算法Boxs等日本漫画大全无彩翼漫画✿ღ。旭日3集成了全新的伯努利2.0 BPU架构✿ღ,可以提供5TOPS的算力✿ღ。而TogetherROS在兼容ROS2通用操作系统的同时✿ღ,对旭日芯片进行了底层优化✿ღ,提高了部分CV算子的性能尊龙网站✿ღ。除了与传感器和软件厂商达成合作以外✿ღ,地平线也与不少机器人本体厂商紧密合作✿ღ,诸如松灵机器人✿ღ、智科特机器人等✿ღ。
而今年地平线推出了全新的RDK系列机器人开发者套件✿ღ,基于此原先的旭日X3派升级成了RDK X3尊龙凯时人生就是博官网登录✿ღ!✿ღ,上半年也发布了集成度更高的RDK X3模组✿ღ,四核Cortex-A53的CPU主频升级至1.5GHz✿ღ,可以满足机器人开发者客户更多的定制化需求✿ღ。
而在7月的地平线机器人开发者创享日上✿ღ,地平线以及RDK Ultra✿ღ。RDK Ultra则是地平线为机器人开发准备的一套高性能✿ღ、大算力套件✿ღ,其端侧推理算力可达96TOPS✿ღ,同时配备了8核Cortex-A55 CPU提供高性能处理能力✿ღ。同时为了更好地降低开发者的适配与学习成本日本漫画大全无彩翼漫画✿ღ,RDK Ultra的硬件接口甚至兼容Jetson Orin系列开发板✿ღ。
与此同时✿ღ,基于下一代芯片旭日5的RDK X5套件也已经在开发过程中了✿ღ,预计将于2024年面世✿ღ。地平线也透露了该平台的一些性能指标✿ღ,比如8TOPS的BPU算力日本漫画大全无彩翼漫画✿ღ,8核Cortex A55的CPU将主频进一步提升至1.8GHz✿ღ,且这次更是配备了ArmMaliGPU✿ღ。
在机器人开发者创享日上✿ღ,同样获得升级的还有TogetherROS✿ღ。升级到2.0版本的TogetherROS引入了更多的算法与应用实例✿ღ,其中包括了一众因为算力升级而得以实现的复杂算法日本漫画大全无彩翼漫画✿ღ,比如BEV视觉3D感知✿ღ、深度学习视觉巡线等等✿ღ。
为了对机器人应用进行更有针对性的开发✿ღ,地平线也推出了Node Hub✿ღ,通过将SLAM✿ღ、目标检测✿ღ、定位和自主导航等功能节点化✿ღ,从而使得不同类型的机器人只需将这些节点串联起来即可完成应用开发✿ღ,譬如需要SLAM✿ღ、自主导航和运动控制的物流机器人✿ღ,或是需要运动规划和目标检测的分拣机器人等等✿ღ。
另一个常常被大家忽略的硬件平台✿ღ,同样可以助力AI机器人的开发✿ღ,那就是AMD赛灵思的Versal AI Edge系列✿ღ。该系列通过标量引擎✿ღ、自适应引擎和智能引擎的结合✿ღ,提供了一个比GPU提供更高AI能耗比的平台✿ღ。在通用的控制嵌入式计算上✿ღ,双核Cortex-A72和双核Cortex-R5F足以满足Linux应用和实时控制的需求✿ღ,而自适应引擎则用于支持各种传感器的融合算法✿ღ。
其智能引擎由AI引擎和DSP引擎构成✿ღ,每个AI引擎都由多个引擎块构成2D阵列✿ღ,而每个引擎块都包含了一个VLIW的单指令多数据向量处理器✿ღ,主频高达1.3GHz✿ღ,且专门针对机器学习和高级信号处理进行了优化✿ღ,足以满足机器人实时控制的低时延✿ღ。
值得一提的是日本漫画大全无彩翼漫画✿ღ,AMD提供的这一AI引擎分为两种✿ღ,一种是同时平衡ML和DSP负载的AIE引擎✿ღ,一种是专注于ML的AIE-ML引擎✿ღ,前者的高级信号处理能力更高✿ღ,而后者的机器学习推理性能更高✿ღ。这也是为何Versal AI Edge在智能引擎中加入了一个独立的DSP引擎✿ღ,这样一来无论是机器人AI应用中的深度学习日本漫画大全无彩翼漫画✿ღ,还是感知计算中的信号处理数位控制✿ღ,✿ღ,都能在单一平台上完成✿ღ。
不过从用例来看✿ღ,Versal AI Edge系列还是更适合用于行业级的机器人✿ღ,诸如工业协作机器人✿ღ、医用手术机器人等等✿ღ。这类应用往往需要数量大于消费级机器人的异构传感器输入✿ღ,且对于预测性维护✿ღ、远程诊断之类的机器学习应用需求更高✿ღ。况且从其标量引擎的配置和自适应引擎对TSN网络的支持上来看✿ღ,也是为了在工业✿ღ、医疗等环境中实现ROS下最快的响应速度✿ღ。
对于机器人市场来说✿ღ,追求小型化✿ღ、低功耗✿ღ、高算力的AI计算芯片必然是未来几年的大势所趋✿ღ。与之匹配的电机电机控制芯片以及传感器✿ღ,也已经开启了新一轮的技术升级✿ღ,目标即形成感知层✿ღ、计算层和执行层的完美融合✿ღ。单从技术积累来看✿ღ,自动驾驶芯片厂商很有可能是率先吃到甜头的厂商✿ღ,但它们不少仍需要更多的精力来接入不同的AI模型✿ღ,才能跟上新的交互潮流✿ღ。
声明✿ღ:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载AI自动化✿ღ。文章观点仅代表作者本人✿ღ,不代表电子发烧友网立场✿ღ。文章及其配图仅供工程师学习之用✿ღ,如有内容侵权或者其他违规问题✿ღ,请联系本站处理✿ღ。举报投诉机器人机器人+关注
自然语言✿ღ,能够进行复杂的对话和语言任务✿ღ。它们能够识别语言中的语义✿ღ、语境和情感✿ღ,并据此作出适当的回应✿ღ。广泛的知识储备: 这些模型基于大规模的数据集进行训练✿ღ,拥有
创新产品奖”✿ღ:创新引领✿ღ,智造未来 /
和边缘计算副总裁 Deepu Talla 在 CES 上的特别演讲中✿ღ,详细介绍了 NVIDIA 及合作伙伴是如何将
的智能化水平 /
领域取得了巨大的进步与突破✿ღ,同时也为未来的发展奠定了坚实的基础✿ღ。在新的一年里✿ღ,我们将持续创新✿ღ,以更高的目