郑影 王熠 周立培

香港理工大学电机及电子工程学系

赛马会“机器学习与计算机视觉”创科实验室

郑影博士目前为香港理工大学博士后研究员。此前，他于哈尔滨工业大学取得博士学位。他的研究兴趣包括机器学习、计算机视觉及具身智能。

王熠博士分别于2013年及2016年取得中国西北工业大学工程学士与硕士学位，并于2021年获得新加坡南洋理工大学博士学位。现为香港理工大学电机及电子工程学系助理教授（研究）。研究方向包括图像处理、计算机视觉与具身智能。

周立培教授是香港理工大学电机及电子工程系教授、杰出创科学人及赛马会“机器学习与计算机视觉”创科实验室主任。他的研究方向包括计算机视觉及具身智能。

一、引言：从对话框里的智能到现实空间中的智能体

近年来，人工智能的发展主要体现于大语言模型和生成式系统的普及。公众对人工智能的日常接触，多来自提问、翻译、总结、写作辅助以及图像和视频生成等荧幕互动。这类系统显著提升了信息处理能力，但总体上仍停留在数字空间，处理对象则主要是符号化信息。随着世界模型、空间智能、机器人学习等技术不断推进，人工智能正呈现向现实场景延伸的发展趋势。具身智能因此成为当前人工智能领域最受关注的前沿方向之一。其核心在于推动智能系统进入现实环境，形成感知、决策与行动能力。科技与文明不过，这一方向仍处于快速发展阶段，距离真正成熟的现实应用，尚有一段较大距离。

尽管如此，具身智能所体现的发展趋势仍值得重视。它反映出人工智能的关注重点正逐步由信息处理，转向真实场景中的任务执行与行动能力。相应地，判断系统能力的标准也不再局限于输出结果的准确性，而进一步延伸至其在现实环境中的稳定性、安全性与可控性。这也意味着，随着具身智能相关技术与应用的推进，其在实际应用、制度治理与社会影响方面的问题将更加突出。

二、智能的具身化：从抽象计算到身体与环境耦合

具身智能中的具身，并不只是指智能系统拥有物理载体，而是强调智能能力不能够脱离身体与环境而独立存在。对于面向现实任务的系统而言，感知、行动与反馈并非附属环节，而是智能形成的基本条件。具身智能的重要意义，正在于它突破了将智能主要理解为抽象计算和符号处理的传统思路。

（一）智能并非纯粹的抽象计算

长期以来，人们倾向于将智能理解为一种独立于身体和情境的认知能力，似乎只要模型规模足够大、计算能力足够强，系统便能够实现对世界的理解与判断。然而，现实世界中的许多任务并不能单凭抽象推理完成。障碍规避、物体抓取、动作协调等过程，都依赖持续感知、空间判断和实时反馈。人的能力之所以得以形成，原理也是一样，那便是对距离、重量、阻力和空间关系的把握，往往是在长期行动和环境互动中逐渐形成的，而并非单纯依赖明确计算。对于具身智能系统而言，这类能力同样难以由脱离现实情境的计算过程完全替代。

（二）环境是能力形成的组成部分

具身智能的相关研究强调，环境并非系统运行的外部背景，而是智能能力生成与实现的重要条件。系统并不是先具备完整智能，再进入现实世界执行任务，许多能力恰恰是在与环境持续交互的过程中逐步发展和调整的。

因此，智能能力的实现不仅取决于系统内部的计算与控制机制，也取决于系统与环境之间的动态耦合关系。这一点对于理解具身智能的发展尤为关键。实验室中的稳定表现，并不意味着系统在开放环境中同样可靠。家庭、病房、商场等现实场景具有明显的动态性和不确定性，光照变化、噪声干扰、物体遮挡以及人员流动等因素，都会直接影响系统的感知、判断与行动。具身智能的重要意义，正在于将这种环境性重新纳入对智能的理解之中。因此，讨论具身智能，关键不在于机器是否具有人形外观，而在于它能否在与环境的持续互动中形成稳定、可检验的现实能力。从这一意义上看，身体并非附加于智能之外的外部装置，而是智能进入现实世界并形成行动能力的必要条件。

三、走向具身智能的实现路径：从多模态感知到虚实结合的学习

具身智能并非单一技术的自然延伸，而是多模态感知与表示、任务理解、规划控制、机器人执行以及虚实结合学习等多方面技术协同发展的结果。对于现实场景中的智能系统而言，感知、理解、决策、行动与反馈相互关联，任何一个环节存在明显短板，都可能影响整体任务表现。当前具身智能的发展涉及多方面技术进展，其中，世界模型2、视觉语言行动模型3和强化学习4是较受关注的前沿方向，在环境建模、任务理解、动作生成和策略学习等方面提供了重要支持。

图一 3D场景理解与HOI检测示意5。左图对应三维场景理解中的分割结果，不同颜色表示场景中不同物体的分割预测；右图对应人－物互动（HOI）预测结果，预测标签表示互动目标及其手侧关系 | 来源：本文作者提供

（一）多模态感知与任务理解

现实世界中的任务通常依赖多源信息的联合处理，而非单一模态的识别。系统在执行任务时，往往需要同时整合语言指令、视觉信息、空间位置、环境状态以及交互对象行为等多类输入。其中，3D场景理解、人体—物体交互（Human-Object Interaction, HOI）理解等技术（图一），为系统把握空间结构、物体关系、交互状态与任务情境提供了重要支撑。例如，在取物、递送、引导等任务中，系统不仅要识别目标物体，还要理解指令所对应的空间关系、任务约束和具体情境。由此可见，具身智能首先要求系统具备跨模态信息整合能力，并能够将感知结果转化为面向行动的任务表示。

这一过程的重点不在于单纯增加环境信息的丰富程度，而在于系统能否围绕具体任务，从复杂情境中识别出关键线索，并将其组织为支持后续规划与执行的任务表示。因而，现实任务的难点也不仅是多模态信息本身的识别，而是系统能否结合具体场景理解任务需求，并据此选择恰当的执行方式。近年来，多模态大模型的发展为感知信息、任务理解与动作生成之间的衔接提供了新的条件，也使具身智能研究进一步转向面向具体情境的任务建模。

（二）从任务规划到闭环执行

在现实环境中，任务理解仅是具身行为形成的前提，系统尚需将任务目标转化为可执行的行动序列，并借助运动控制完成具体操作。该过程涵盖任务分解、路径规划、动作生成、抓取控制与异常处理等多个层面。与以结果输出为导向的数字信息处理不同，具身智能所作用的对象是持续变化的物理环境，因而其行动效果必须在执行过程中不断接受环境反馈的考验。因此，具身智能的核心在于感知、规划、控制与反馈闭环机制的构建。初始规划即便具备合理性，执行过程仍会受到目标偏移、物体遮挡、空间变化以及人员活动等多种因素影响。系统因此需要在行动过程中持续更新环境状态表征，并根据反馈结果对执行策略进行动态修正，以保证任务实施的有效性与稳定性。当前相关研究正围绕分层规划、实时控制、反馈修正与行动模型协同等方向持续推进，并尝试借助世界模型6提升系统对环境状态演化、动作后果及潜在风险的预测能力。对于现实任务而言，系统性能不仅取决于初始判断的准确性，也取决于其在动态环境中的持续适应与稳定执行能力。

图二 Maniskill Simulator中的机器人操作模拟示意图。图中展示了机器人在仿真环境中对场景物体进行感知与操作的过程。| 来源：本文作者提供

（三）模拟训练与现实检验

受训练成本、安全约束及设备条件等因素影响，模拟环境仍是具身智能能力形成的重要基础，其在任务数据生成、大规模实验以及试错成本控制方面具有明显优势，尤其适用于导航、操作学习、策略优化和多任务训练等场景。以Maniskill Simulator等机器人操作模拟平台为例（图二），其可为抓取、搬运、装配等任务提供可重复、可扩展的训练环境，并支持感知、控制与交互过程的系统性建模，从而为具身智能能力的形成提供基础条件。然而，模拟训练难以替代现实检验，真实世界的开放性与不确定性使物体属性、接触过程、环境扰动及人类行为变化等因素均可能超出仿真设定，从而导致系统在真实部署中出现识别偏差、动作失稳或任务失败7。基于此，具身智能的发展日益依赖虚实结合的学习路径，即在模拟环境中形成基础能力，并在真实场景中通过部署验证、误差识别、持续修正、仿真到现实迁移、真实数据回流及在线适应等机制，不断提升系统的泛化能力与现实可用性。

图三　具身智能在家庭、机构与公共空间中的典型应用场景示意图8  | 来源：本文作者提供

四、具身智能的应用图景：家庭、机构与公共空间

具身智能之所以受到持续关注，重要原因在于其意义并不止于模型能力提升，而在于其未来能否在现实场景中形成具有实际效用的服务与操作能力。就当前发展阶段而言，相关应用仍主要处于探索和验证过程中。如图三所示，家庭、医疗与养老等机构9，以及校园、园区、商场和交通枢纽等公共空间10，已成为较具代表性的潜在场景。这些场景在任务结构、环境复杂度、风险水平和人机关系等方面存在显著差异，因而对系统的感知、规划、控制、交互和安全保障能力提出了不同要求，也对应着不同的技术实现路径与现实检验标准。

（一）家庭中的辅助场景

家庭场景与日常生活联系最为紧密，但空间结构、行为模式和个体需求差异显著，环境非结构化特征突出，难以形成统一的任务范式。因此，具身智能在家庭中的应用更适宜从任务边界较清晰，且主要面向日常生活辅助、对人身与环境干预风险较低的场景切入，如状态提醒、物品递送、基础监测、远程联络协助和简单看护支持等。此类任务主要依赖多模态感知、任务理解、语言交互和基础操作能力的协同。与此同时，家庭不仅是任务执行空间，也是高度情境化的生活空间，照护、陪伴和看护等活动涉及长期互动、个体差异理解和关系维持，难以被完全转化为标准流程，因此相关技术更适合承担事务性支持功能，而非替代家庭关系或照护责任。

（二）机构中的流程支持

医疗、养老和康复等机构在空间组织、任务流程和服务目标方面具有较高规范性，因此成为具身智能较具代表性的潜在应用场景。物资配送、路径引导、日常巡检、夜间巡视、辅助搬运和康复支持等任务通常具有相对明确的流程边界和执行要求，适合作为环境感知、路径规划、行为控制与任务调度等能力的验证对象。近年来，相关研究正由单一功能自动化转向感知、决策、执行与反馈一体化，并逐步结合视觉语言行动模型、世界模型和强化学习等方法，以提升系统在复杂流程中的任务理解、环境适应和异常处置能力。但总体而言，此类应用仍处于探索和验证阶段。鉴于医疗与养老环境直接关联高风险人群，相关技术不仅需要关注效率提升，更必须满足安全性和责任可追溯性等基本要求。

（三）公共空间中的秩序协同

在校园、园区、商场和交通枢纽等公共空间中，具身智能被视为较具潜力的应用方向，当前相关研究主要围绕导览服务、物资配送、环境巡检和基础咨询等任务展开。此类场景通常具有相对明确的空间边界、较稳定的通行规则和较高频的重复性需求，因而适合作为具身智能系统开展现实测试与应用验证的重要对象。从技术路径看，公共空间中的系统运行依赖场景感知、地图构建、路径规划、动态避障、多轮交互和任务调度等能力的协同，并开始结合视觉语言行动模型与世界模型等前沿技术，以提升对开放环境变化和多主体活动的适应能力。与此同时，相关技术的引入并不只是对既有空间的功能补充，也可能对路径设计、设施布局、标识系统和管理规则产生影响，从而对公共空间中的人机协同提出新的现实要求。

五、隐私、安全与责任：智能系统普及后的管理难题

一旦具身智能进入现实场景，管理便不再是附属问题，而是应用体系本身的一部分。与主要处理数字信息的系统不同，具身智能通过持续感知和物理行动直接介入现实环境，其风险不仅来自模型误判，也来自感知边界扩张、执行失控与责任不清。因此，隐私、安全与责任界定构成其现实应用无法回避的核心问题11。

（一）隐私边界更为复杂

具身智能依赖视觉、语音、定位等感知方式获取环境信息，系统在执行任务过程中往往会接触到超出直接指令范围的数据。此类信息不仅涉及使用者，也可能涉及家庭成员、护理人员以及公共空间中的其他个体。在家庭、病房和养老机构等场所，相关数据通常具有较高私密性。隐私风险由此主要体现为感知边界、数据留存和用途管理缺乏清晰约束。信息采集范围、记录方式、保存期限和后续使用条件，都应在技术设计和制度安排中予以明确。若相关边界长期模糊，技术便利便可能以隐私让渡为代价。未来可从隐私保护型感知与治理机制两方面推进改进，例如以本地化处理、最小必要采集、分级授权与可追溯审计等方式，降低敏感数据暴露风险，并提升系统在实际应用中的可控性与可信度。

（二）现实安全要求更高

具身智能一旦发生错误，后果往往直接落在现实层面。识别偏差、动作失准、路径错误、抓取失败或系统中断，都可能引发实际风险。尤其在儿童、老年人、患者和行动受限者所在场景中，系统失误的容忍空间更小。因此，现实应用中的关键不只是平均性能，而是异常状态下能否保持可预测、可中止和可接管。面向现实环境的系统需要具备边界识别、风险控制和紧急停止能力，并在不确定条件下优先采取保守策略。近年来，世界模型、分层决策和安全约束控制等方法为此提供了新的技术支持，但其有效性仍需在真实场景中持续验证。

（三）责任界定需要前置

具身智能由多个技术环节和多类参与主体共同支撑，其运行结果具有明显的系统耦合特征。进入现实场景后，一旦发生事故，责任认定往往需要结合系统设计、部署方式、运行过程与人工介入情况进行具体分析，责任界定因而成为具身智能治理的重要内容。基于此，相关制度安排应当在应用之前明确系统边界、接管机制、事件记录与追溯程序，从而为后续风险处置提供可执行依据12。

六、效率逻辑与人的处境：社会结构中的新张力

对具身智能的期待，多与效率提升相关，如缓解人力压力、优化流程、减轻重复劳动和扩大服务覆盖。这些目标具有现实合理性，但若仅以效率为尺度，技术进入现实场景后对人的影响便容易被忽视。具身智能不仅关系到任务执行方式的变化，也可能影响空间组织、互动结构和劳动分工。

（一）空间组织的调整

具身智能的运行依赖环境识别、路径规划和任务执行的稳定性。无论是移动机器人，还是结合视觉语言行动模型的系统，都更适合在边界较清晰、规则较稳定的环境中运行。为了提高系统的可用性，路径设置、物品摆放和流程安排通常需要更加规范。这种调整有助于提升协同效率，但也意味着空间不再仅以人的使用习惯为中心，而需同时适应机器的识别和通行要求。技术进入现实场景，并非只是增加一种工具，也可能对空间组织方式产生持续影响。

（二）互动结构的变化

在许多服务场景中，完成任务本身并不等同于完成服务。除具体操作外，服务过程往往还包含对情境的说明、对使用者情绪的回应、互动节奏的调整，以及关系的维持。具身智能的引入，固然可能提升部分环节的效率，但也可能减少服务过程中原本由人际接触所承载的互动内容。这一问题在照护、教育及公共服务等领域尤其明显。即使系统在多模态感知与任务规划方面持续进步，服务关系中所涉及的理解、体察与实时回应，仍难以被完全转化为可标准化的操作流程。因此，技术效率的提升未必一定带来服务质量的同步提高。

（三）劳动结构的重组

具身智能对劳动的影响，并不主要表现为岗位的简单替代，更可能体现为工作内容的重新分配。随着系统承担部分标准化任务，人的工作往往转向运行监督、异常处理和系统维护。近年来，端到端控制、分层决策和闭环反馈等技术提升了系统执行任务的能力，但人的角色并未因此退场。这种变化可能减轻部分重复性劳动，也可能提高责任强度和应急压力。系统运行稳定时，人员更多处于后台；一旦系统失效或超出能力边界，人员仍需迅速介入。技术不仅改变劳动方式，也会重新配置劳动中的责任关系。

七、结语：在具身智能时代重申人的主体性

当人工智能由信息处理走向具身行动，大模型时代的人机关系也随之进入新的阶段。过去，人与机器之间主要是功能性的使用关系，表现为指令输入与结果输出之间的对应。随着智能系统进入家庭、机构与公共空间，并承担导览、配送、巡检、辅助照护等任务，机器不再只是被动响应需求的工具，而逐步成为现实场景中的任务参与者。相应地，人机关系也由单纯使用关系转向持续协同关系，由功能调用转向空间共处，由结果接受转向过程介入。

这一变局的关键，不仅在于机器能力的提升，更在于技术开始进入人的现实生活结构，并由此影响空间组织、互动方式、劳动分工与责任配置。人在其中也不再只是使用者，而越来越成为监督者、接管者和责任承担者。因此，当智能具身化之后，真正需要回答的已不再是机器是否具备足够智能，而是技术应以何种方式融入生活，并在何种边界内发挥作用。具身智能的价值，不应仅以效率提升来衡量，更应取决于它能否在保障人的主体性前提下，成为服务于人的技术。

参考资料及说明：

1.  本文部分内容改编自三位作者已发表的英文原文：Ying Zheng, Lei Yao, Yuejiao Su, Yi Zhang, Yi Wang, Sicheng Zhao,Yiyi Zhang & Lap-Pui Chau. A survey of embodied learning for object-centric robotic manipulation. Machine Intelligence Research, 22(4), 2025, pp. 588-626 (https://doi.org/DOI: 10.1007/s11633-025-1542-8).

2.  Long, X., Zhao, Q., Zhang, K., Zhang, Z., Wang, D., Liu, Y., ... & Dai, Q. A survey: Learning embodied intelligence from physical simulators and world models. arXiv preprint arXiv:2507.00917, 2025.

3.  Guan, W., Hu, Q., Li, A., & Cheng, J. Efficient vision-language-action models for embodied manipulation: A systematic survey. arXiv preprint arXiv:2510.17111, 2025.

4.  Kober, J., Bagnell, J. A., & Peters, J. Reinforcement learning in robotics: A survey. The International Journal of Robotics Research, 32(11), 2013, pp. 1238-1274.

5.  此范例展示的是模型在ScanNet++（左图）与HOI4D（右图）资料集上的预测结果。

6.  世界模型通常指模型能够学习并维护一个对现实或任务环境的动态表征，用来理解世界当前是什么状态、接下来会如何变化，以及自身动作会带来什么后果，从而支援预测、规划与决策。

7.  Zhao, W., Queralta, J. P., & Westerlund, T. Sim-to-real transfer in deep reinforcement learning for robotics: A survey. In 2020 IEEE Symposium Series on Computational Intelligence (SSCI), 2020, pp. 737-744. IEEE.

8.  本图由Nano-Banana-2生成，经修改后而成。

9.  Van Maris, A., Zook, N., Dogramadzi, S., Studley, M., Winfield, A., & Caleb-Solly, P. A new perspective on robot ethics through investigating human–robot interactions with older adults. Applied Sciences, 11(21), 2021, 10136.

10.   Mintrom, M., Sumartojo, S., Kulić, D., Tian, L., Carreno-Medrano, P., & Allen, A. Robots in public spaces: Implications for policy design. Policy Design and Practice, 5(2), 2022, pp. 123-139.

11.  Jayaraman, S., Phillips, E. K., Church, D., & Riek, L. D. Social robots in healthcare: Characterizing privacy considerations. In Companion of the 2024 ACM/IEEE International Conference on Human-Robot Interaction, 2024, pp. 568-572.

12.  Riek, L., & Howard, D. A code of ethics for the human-robot interaction profession. Proceedings of We Robot Conference, 2014.