西工大在机器交互方面取得创新进展 建立无人机自主“聊天群”

西工大在机器交互方面取得创新进展 建立无人机自主“聊天群” 无人机,任务

　　在线群聊极大处所便了人们的沟通方法，能否把机器也拉进群，让它们组团磋商着干活，并和人类无障碍地沟通和交换，更好地服务于生发生活？

　　西北工业大学28日透露，近日，该校光电与智能研讨院李学龙教授和同事们在机器交互方面取得创新进展：基于国产大模型，研发了“群聊式”无人机节制框架，给每架无人机装上了大脑，让无人机集群在语言沟通中动态协同，实现了开放环境下“人机”和“多机”的对话交互，打破人类和机器的交互壁垒，进一步拓展了临地安防的使用场景。

　　据介绍，受人类的认知模式启示，团队将认知形成的高度自主性凝练为“思维盘算—实体节制—环境感知”的三元交互，树立了“书生·浦语”开源大模型驱动的自主无人机“群聊式”节制框架，实现了开放环境和庞杂任务中的智能交互、自动感知和自主节制，进步了无人机任务执行的自主性。

　　总体而言，类人对话交互、自动环境感知、自主实体节制，是自主无人机集群的重要才能。

　　摸索人类用户与无人机的交互方法，让无人机懂得庞杂任务中的用户需求，是实现自主无人机的前提条件。

　　针对此，团队提出“群聊式”对话交互方式，将声音、图像和无人机自身状况等多种信息，通过大模型转换为自然语言的对话形式，实现了用户与无人机，以及无人机与无人机之间自主和直观的交互方法。同时，团队设计了一套高效的实时反馈机制，使得无人机能够在任务执行的要害节点通过对话报告自身状况、追求用户确认，大大进步了庞杂任务执行的稳固性和安全性。

　　在飞行进程中，无人机自动感知外部环境，实时调剂任务规划，是完成庞杂任务的要害环节。

　　针对此，团队设计了任务领导的自动感知机制，提出了多传感器融会的低空搜索、动态避障和视觉定位算法。在实际任务执行中，依据感知信息和任务目标，动态调剂无人机飞行路径和观测位姿，尝试从不同角度和位置感知周围世界，逐渐降低环境中的不肯定性，实现高效的信息采集和任务执行。

　　摸索复合智能体形态，加强庞杂任务处置才能，是大模型时期新型智能体的研讨重点。

　　针对此，团队依托无人机平台设计了夹爪等末端执行器，将传统无人机拓展为“飞行机器人”，长出“手”来，具备抓取才能。同时，构建了异构无人机集群协同节制机制，联合环境感知反馈，实时调剂无人机编队的飞行状况，使集群分工执行区域搜索、目标定位和抓取等任务。

　　据悉，大模型自主无人机集群是团队将生物智能“思维盘算—实体节制—环境感知”的三元交互模式使用于自主智能体的一次胜利尝试，依托大语言模型、无人机平台和多种传感器，实现对话交互、自动感知和自主节制，对安防巡检、灾祸救援、空中物流等临地安防场景下的使用具有主要意义。