面向物流机器人的云边协同智能视觉传感器研究与应用

作者：陈哲涵 黎学臻 

北京科技大学机械工程学院

一，物流机器人的视觉能力需求

物流机器人是应用在物流中心等工业场景，通过搭载各种传感器、导航系统和计算技术以自主执行物流任务的智能机器人，通常用于物流仓储领域进行货物搬运、仓库管理、分拣等操作[1-2]。

随着全球供应链不断扩展和商业活动的日益全球化，以物流中心为代表的智慧工厂正面临着更为复杂和多元化的运营环境，并带来包括货物追踪、安全管理以及运营效率提升等多个方面的挑战。在很多情况下，传统的物流机器人难以满足智慧工厂的多元化需求，无法完成各种精细化任务，有时只能依靠低效的人工处理，从而造成一系列问题。

例如，厂房巡查工作中，随着物流中心规模的增大和运营业务的复杂化，传统的物流机器人巡检只能按照固定路线行走而无法避障，而人工巡查和监控又往往不够高效和精确，因此传统的巡检手段可能会因检测手段不足、视角有限或人为疏忽而错过一些潜在问题；面对异常情况，传统的物流机器人很多时候难以及时响应，可能导致潜在危险事件的扩大和蔓延，从而造成巨大经济损失，而且也往往由于缺乏记录异常情况的手段导致事后无法及时追责与纠错；在厂房的物料/工具/文件的运送过程中，很多物流机器人无法灵活运送，可能存在走错路甚至取错物品的问题，而人工运送往往效率低、耗时长，导致生产延误甚至停滞；在库存管理任务中，传统的物流机器人无法实现盘库或者只能固定位置扫描/逐件扫描，而人工盘查速度慢、易出错，并且快速识别库存中的物品类型和数量也需要成熟丰富的经验。

在这一背景下，物流中心等智慧工厂需要更智能化的解决方案，而强大的视觉能力正是满足这些需求的关键驱动因素之一。因此，为应对日益复杂的操作和追求更高的安全性，越来越多的智慧工厂意识到引入具有视觉能力的物流机器人是满足复杂需求的一项重要措施。物流机器人的视觉能力提升，不仅仅是追求技术创新，更是为了满足日益增长的关键需求，从而确保智慧工厂在竞争激烈和不断变化的环境中能够持续高效运营。

二，云边协同智能视觉传感器总体架构

云边协同智能视觉传感器是一种将边缘计算和云计算相结合，以实现多个智能视觉传感器之间的协同工作的综合系统。智能视觉传感器可以在接近数据源的地方执行图像分析和处理，从而减少数据传输延迟，同时还可以与云端资源通信，共享数据和结果，以实现更高级别的智能决策和应用。

具体而言，边缘计算和云计算是两种互补的计算模式。边缘计算是指将计算和数据存储移动到网络边缘（即物理设备层），从而减少数据传输和延迟；云计算则是通过互联网将数据和资源提供给用户使用。在物联网时代，边缘计算和云计算的结合成为必然趋势，即“云边协同”。通过结合边缘计算和云计算的优势，云边协同智能视觉传感器，能够充分利用作业现场的视觉信息，提高数据处理和分析的能力、提供更可靠的数据存储和备份、提供更灵活的数据处理和分析服务[3]。因此，云边协同智能视觉传感器是提升物流机器人视觉能力的重要基础。

图1云边协同智能视觉传感器总体框架图

云边协同智能视觉传感器总体框架（见图1），主要由以下几个部分构成：

1.传感器层：架构的基础是各类智能视觉传感器，这些传感器负责收集环境中的图像和数据，作为后续处理的原始输入。

2.边缘计算层：在边缘设备上，可以使用轻量化的算法对传感器数据进行初步的处理和分析。这些算法能够在本地实现快速的物体检测、跟踪、分类等任务，以便在实时性要求较高的场景下做出即时决策。

3.边缘智能层：边缘智能层进一步利用深度学习和计算机视觉技术，对边缘计算层产生的数据进行更深入的分析。例如，可以进行目标识别、情感分析、异常检测等任务，以提供更丰富的信息和见解。

4.边缘与云协同：一部分经过边缘智能层处理的数据会被传输到云端，与云计算层协同工作。云计算层拥有更大的计算和存储资源，能够进行更复杂的分析、建模和数据挖掘。这使得系统能够从大量的数据中挖掘出更深层次的信息和模式。

5.云计算层：在云计算层，可以运用更复杂的算法和模型，进行大规模的数据分析和训练。这些分析可以用于业务决策、预测分析、趋势识别等，从而为企业提供更具价值的信息。

6.决策和反馈：经过分析后，系统可以在边缘设备上做出实时决策，例如触发报警、自动控制设备等。同时，云端的分析结果也可以提供给操作人员，以供参考和决策支持。

可见，云边协同智能视觉传感器具备不同精度和效率的判断决策能力，可用于各种领域，如工业自动化、智能制造、物流和交通等，从而提高系统响应速度和数据处理效率。

三，基于轻量化算法的边缘机器视觉

由于物流机器人在实时环境中执行任务，需要现场采集视觉信息并做出即时反馈，而将视觉处理推向云端的方式受制于网络延迟，可能导致物流机器人的决策效率低下，甚至还有隐私数据泄露的风险。因此，为物流机器人配备边缘机器视觉是一项必不可少的要求。

边缘机器视觉是一种将机器视觉技术应用于边缘设备的方法，利用分布式计算架构，将图像和视频数据的处理和分析部署在更接近数据源的边缘设备上，以减少数据传输和延迟，实现视觉任务的快速响应。在总体架构中，边缘机器视觉对应“边缘计算层”和“边缘智能层”两部分。

事实上，由于边缘设备通常计算能力和资源十分有限，但仍需要实时进行图像处理和分析。传统的复杂算法在边缘设备上可能导致高计算负担、延迟增加以及资源不足等问题。而基于轻量化算法的边缘机器视觉则旨在解决这些问题，在保持合理的准确性前提下，通过减少模型大小、计算量和内存占用，实现在边缘设备上高效地进行图像处理。边缘机器视觉的网络模型一般尺寸相对较小，具有较低的计算复杂度和较少的参数，应用时设备功耗和延迟都较低。

边缘机器视觉的实现依赖于轻量化方法，典型的方法包括模型剪枝、模型量化、知识蒸馏等。对于模型剪枝，基于深度神经网络中权重参数存在显著冗余、仅使用小部分权重就可以预测出其余的权重这一认识[4]，模型剪枝衡量各结构的重要性，删除模型中对性能不重要的冗余或不相关的单元（即节点、过滤器或层），提供合理压缩率的同时尽可能降低对模型准确性的影响，并在各种设置下都具有鲁棒性[5]。对于模型量化，由于网络的推理和训练都通过计算实现，数值的表示方式影响很大，而当前网络模型又都严重过度参数化，因此使用模型量化将模型的参数从浮点数转换为较低位数的定点数，能够不影响模型精度的情况下显著减少模型所需的存储空间和计算资源[6]。对于知识蒸馏，首先训练大型深度学习模型，然后作为教师网络监督训练一个轻量级的学生网络[7-8]，学生网络通过补充教师网络中隐含信息的方式，在保有轻巧的结构特性的同时提升模型性能。因此，知识蒸馏的训练阶段使用大网络有利于特征提取，推理阶段使用小网络有利于提升效率[9]。

具体而言，图2所示的是一种典型的基于轻量化算法的边缘机器视觉传感器。在结构上，该传感器的芯片采用XBurst2 1.2GHz双核处理器和600MHz RISC-V协处理器，不含GPU核，但内置NPU核以支持int16/int8/int4/int2等多种量化等级，并拥有8T算力。并且，该传感器还配备算法后处理单元，用于支持非卷积计算的硬件加速。该传感器搭载一个ISP模块，其最大支持4K，分辨率达到3740×2160，并具备畸形矫正、视频旋转以及双摄像头同时输入的能力。编码上，支持H265/H264/JPEG等编码，最大输出分辨率可达3840×2160。在接口上，包括百兆以太网接口、USB2.0接口以及UART×4等。在深度学习框架方面，能够兼容Pytorch、ONNX等多种框架。

图2使用国产AI芯片的边缘机器视觉传感器

在功能上，如图3所示，为了实现边缘机器视觉的模型轻量化，该传感器对基于深度卷积网络的分类模型进行压缩，采用结构化剪枝去除网络中冗余卷积核与连接，再对剪枝后的网络进行再训练，最后生成轻量化的网络。在保证精度的前提下，再采用蒸馏的方式，训练一个小型的学生模型。通过这种方式，大幅降低了大模型的参数，并通过蒸馏提升小模型的精度，实现了边缘机器视觉的应用。

图3边缘机器视觉的典型轻量化方法

轻量化算法的应用，使得边缘机器视觉能够通过减小模型复杂度和资源消耗，使边缘设备能够高效地进行实时图像处理和分析，从而满足实时性和资源受限的要求，其能够完成的实时性任务主要包括：

1.实时环境感知：物流机器人利用边缘机器视觉感知环境，包括检测障碍物、辨识路径和识别标志，从而实现安全自主导航和避障。

2.货物识别与分类：物流机器人能够实时识别和分类货物，根据标识或图像特征将货物分拣到正确的位置。

3.异常检测与报警：物流机器人可以实时监测环境中的异常情况，如火灾、漏水等，并即时发出报警，提醒相关人员采取行动。

4.自动巡检和维护：物流机器人可以自动巡检仓库和设备，检测设备状态，发现潜在故障，以及执行基本的维护任务。

5.库存管理与追踪：利用边缘视觉，物流机器人可以捕捉货物的图像特征，从而实现库存追踪和管理，准确记录物品的位置和数量。

6.任务自动化和协同：物流机器人通过边缘机器视觉能够自动执行任务，如搬运、分拣、上货架等，实现物流流程的自动化和协同。

因此，利用即时计算、快速响应的边缘机器视觉，物流机器人能够大大提高作业的效率、安全性和自动化程度，为智慧工厂的物流管理带来了创新和提升。

四，面向企业级业务管理的云平台

面向企业级业务管理的云平台是一个专门设计和构建的云计算平台，用于支持和管理企业级物流业务，其运行的基础是与配备视觉能力的物流机器人相关的任务和数据。面向企业级业务管理的云平台在云边协同计算、边缘计算和云计算之间建立了连接，为企业提供了一套综合性的解决方案，通过对搭载智能视觉传感器的物流机器人的控制，实现物流管理的智能化和优化。在总体架构中，该云平台主要对应“云边协同层”和“云计算层”两部分。

由于云计算拥有大规模的计算资源和存储空间，具备处理复杂的大规模数据和模型的运算能力，同时也具有延迟高、难以快速响应的特点，因此尽管该云平台汇聚了众多物流机器人的智能视觉传感器获取的信息，无需也无必要逐一分析业务场景和数据，而是通过云端大数据分析和数据挖掘，提供丰富的数据洞察和业务支持，帮助企业深入理解物流运营情况，优化业务流程，提高效率和竞争力。

从功能上看，如图4所示，云平台具有数据集中与整合、任务分配与调度、路径规划和调度、异常监测与报警的功能，也能够实现数据统计与分析、库存管理与优化和预测性维护。前者与物流机器人的控制有关，是云边协同运算的重要实现；而后者与企业业务相关，并且非常依赖于云平台的大规模计算能力，具体为：

1. 数据统计与分析：平台可以对机器人的运行数据进行分析，生成报告和统计信息，帮助企业了解物流业务的运行情况并进行优化。

2. 库存管理与优化：通过前端传感器数据，云平台可以实时监测库存水平，帮助企业进行库存优化和补货决策。

3.预测性维护：云平台可以监测设备的运行状态和健康状况，识别出潜在的故障迹象。借助大数据分析和机器学习技术，云平台可以预测设备故障，使企业能够采取预防性维护措施，减少生产线停机时间。

图4面向企业级业务管理的云平台功能

借助云平台庞大的计算能力，以上三个任务需要利用数据挖掘和大数据分析完成，是与边缘机器视觉的不同分工之处。具体来说，数据挖掘从视觉传感器搜集的大量数据中自动发现隐藏的模式、规律和趋势的过程。通过数据挖掘技术，云平台可以在物流和仓储数据中发现有关运营的关键信息。例如，从物流机器人和传感器数据中挖掘出物流路径的瓶颈、货物的高峰运输时段等。这些分析结果可以帮助企业更好地了解其运营状况，从而进行战略规划和决策。而大数据分析涉及处理和分析大规模、多样性、高速生成的数据。在智慧工厂中，大数据分析可以帮助平台处理物流机器人、传感器和仓储系统产生的大量数据。通过大数据分析，平台可以实时监测物流活动、分析设备状态、跟踪货物流动等，从而提供实时的业务洞察，支持实时决策和调整[10]。

数据挖掘和大数据分析在面向企业级业务管理的云平台中起着至关重要的作用。它们能够从边缘视觉提供的海量的数据中提取出有关业务运营的有用信息。因此，面向企业级业务管理的云平台以数据挖掘和大数据分析为主要手段，能够为企业提供深入的洞察，从而支持库存管理、决策制定和业务优化。

五，应用案例

面向物流机器人的智能视觉传感器，凭借即时快捷的边缘机器视觉和智能化的云端处理能力，能够在各个领域发挥作用。

以某物流中心为例，其立体库中的四向穿梭车搭载了云边协同的智能视觉传感器，是一种特殊形态的物流机器人，如图5所示。四向穿梭车能够利用边缘机器视觉能力实时感知分析车辆周围的环境，帮助四向穿梭车进行自主导航和避障，确保安全高效地完成货物搬运任务。利用边缘计算可以识别货架上的货物特征，确定货物位置和属性，从而准确地获取货物并将其放置在正确的位置。穿梭车也可以利用边缘计算对图像数据进行路径规划和任务调度，云计算可以进一步优化路径和任务分配，以提高多辆穿梭车的运输效率并减少等待时间。运行过程中，四向穿梭车捕捉运输过程中的异常情况，例如货物掉落或堵塞。边缘计算可以实时分析异常数据，辨识异常，并发送警报通知到云平台，以及时采取适当的措施。此外，智能视觉传感器也可以利用捕获的图像数据进行数据分析，边缘计算可以处理初步的数据分析任务。云计算则可以将不同车辆的数据进行汇总分析，从中识别出流程改进的机会，提高仓库运营效率。

图5四向穿梭车中智能视觉传感器的应用

在某航空制造企业的生产车间中，具有智能视觉能力的物流机器人，借助基于边缘机器视觉的VSLAM技术，能够自主规划路线与避障，结合人脸识别、目标检测等技术实现工具/物料从仓库到工位的准确递送。利用先进的图像分析算法检测异常情况，及时监测环境变化，例如火灾、烟雾、泄漏等，一旦发现异常，能够立即发出警报，以便迅速采取适当的紧急措施，满足车间高要求的生产环境标准。基于云边协同分析，物流机器人也能够及时发现设备故障或物料破损，促使维修人员迅速采取行动，避免生产中断和成本增加。

因此，云边协同智能视觉传感器为各类智慧工厂中的物流机器人赋予了智能视觉能力，既能够实时、准确地执行复杂操作，提高作业运作效率、准确性、可靠性和安全性，又能够基于海量数据进行数据挖掘和大数据分析，以更高的维度分析企业的运营状况，优化管理方式和业务流程，是企业提高竞争力的一大利器。

六，结语

随着工业4.0掀起智能制造、产业升级的浪潮，再加上竞争日益激烈的经营环境，提高企业的运营效率和业务优化的能力成为越来越多企业的诉求，开发应用具有智能视觉的物流机器人是其中一种重要实现途径，而云边协同智能视觉传感器作为其核心组成，也受到前所未有的重视。

一方面，随着芯片制程的进步，基于AI芯片的边缘计算能力日益提高；另一方面，以ChatGPT和Segment Anything Model为代表的大模型一次次震惊世界，云边协同智能视觉传感器的“智慧”即将迎来飞跃式的提升，基于智能视觉的物流机器人应用范围也将大幅拓展，能够完成越来越复杂的任务。相信不久之后，物流机器人不再是新鲜事物，而是将进入一家家智慧工厂，引起广泛的工业变革，推动更加智能、高效、创新和可持续的工业发展。

参考文献:

[1]Lin R, Huang H, Li M. An automated guided logistics robot for pallet transportation[J]. Assembly Automation, 2020, 41(1): 45-54.

[2]Bernardo R, Sousa J M C, Gon.alves P J S. Survey on robotic systems for internal logistics[J]. Journal of manufacturing systems, 2022, 65: 339-350.

[3]Dai W, Nishi H, Vyatkin V, et al. Industrial edge computing: Enabling embedded intelligence[J]. IEEE Industrial Electronics Magazine, 2019, 13(4): 48-56.

[4]李屹,魏建国,刘贯伟.模型剪枝算法综述[J].计算机与现代化,2022(09):51-59.

[5]Yeom S K, Seegerer P, Lapuschkin S, et al. Pruning by explaining: A novel criterion for deep neural network pruning[J]. Pattern Recognition, 2021, 115: 107899.

[6]Gholami A, Kim S, Dong Z, et al. A survey of quantization methods for efficient neural network inference[M]//Low-Power Computer Vision. Chapman and Hall/CRC, 2022: 291-326.

[7]Wang L, Yoon K J. Knowledge distillation and student-teacher learning for visual intelligence: A review and new outlooks[J]. IEEE transactions on pattern analysis and machine intelligence, 2021, 44(6): 3048-3068.

[8]陈立玮,周新志.基于特征自注意力的图像分类知识蒸馏算法[J].现代计算机,2023,29(04):49-53+68.

[9]杨珂浩,于龙,高仕斌等.基于无监督知识蒸馏的高铁绝缘子缺陷检测算法[J].电气化铁道,2023,34(01):9-14.DOI:10.19587/j.cnki.1007-936x.2023.01.001.

[10]Yang C, Lan S, Wang L, et al. Big data driven edge-cloud collaboration architecture for cloud manufacturing: a software defined perspective[J]. IEEE access, 2020, 8: 45938-45950.

本文源自《物流技术与应用》2023年12期（点击可查看）

本文版权归《物流技术与应用》所有。