ROS2 Interface 开发•8. 视觉传感器

8. 视觉传感器

更新于:2026年11月10日

1 PM01-D435i 深度相机

本节介绍如何启动 PM01 内置的 Intel RealSense D435i 深度相机节点,并获取相机数据。

查看深度相机设备:

Bash
rs-enumerate-devices -s

输出示例:

Bash
Device Name                   Serial Number       Firmware Version
Intel RealSense D435I         243322074409        5.15.1.55
Intel RealSense D435I         347622075631        5.15.1.55

启动深度相机节点:EngineAI 官方基于 ROS2 生态(开源仓库 engineai_ros2_workspace)提供相机与雷达接入示例,本节内置了深度相机的示例程序 rs_launch.py。

Bash
ros2 launch realsense2_camera rs_launch.py \
  serial_no:="243322074409" \
  camera_name:=cam_head \
  tf_prefix:=cam_head

参数说明:

参数作用说明
serial_no绑定具体相机强制指定,需用外层双引号 + 内层单引号包裹
camera_nameTopic 命名空间避免多相机 topic 冲突,如 cam_head 生成 /camera/cam_head/xxx
tf_prefixTF 坐标系前缀如 cam_head 生成 cam_head_link、cam_head_depth_frame 等

可获取的 Topic:

PLAIN
/camera/cam_head/color/camera_info
/camera/cam_head/color/image_raw
/camera/cam_head/color/metadata
/camera/cam_head/depth/camera_info
/camera/cam_head/depth/image_rect_raw
/camera/cam_head/depth/metadata
/camera/cam_head/extrinsics/depth_to_color

2 T800-Odin2 激光雷达相机

2.1 连通性检测

T800系列机器人搭载Odin激光雷达模组,Odin和Orin应用计算单元通过RJ45网口直连

电脑连接机器人后登录 Orin

Bash
#密码ubuntu
ssh ubuntu@192.168.0.162

登录 Orin 后可查看网卡地址、路由和 Odin 连通性:

Bash
ip -br addr
hostname -I
ip route get 192.168.100.251
ping -c 4 192.168.100.251

正常显示:

image\.png

2.2 打开 Dashboard 与拉取日志

在电脑另开一个终端建立 SSH 隧道,并保持该终端运行:

Bash
ssh -N -L 8080:192.168.100.251:8080 ubuntu@192.168.0.162

#然后在电脑浏览器访问:
http://127.0.0.1:8080/

Dashboard 页面可用于查看设备型号、固件版本、序列号、资源/温度、数据发送频率,并按页面功能下载标定文件和系统日志。设置页可查看网络配置。升级或修改网络配置前,请确认文件和参数与当前设备匹配;修改网络地址后,浏览器访问地址也要随之更新。

  • 设备固件 & sn 信息
  • 主要组件温度信息
  • 数据发送频率(图标可点击以取消勾选,如imu)
  • 获取标定文件
  • 获取日志文件
  • 设置设备网络配置
  • 固件升级

dashboard\.png

2.3 网卡配置优化,domain ID与QoS

经测试,部分系统 & 网卡的默认配置下设备数据传输容易出现丢包。可参考以下命令增大Orin/开发机PC网卡的网络缓存,减少丢包现象。此外,ros2 默认对所有网络接口进行广播,导致网络环境复杂时 (如主机有多个网络接口,接入了复杂办公网络或公共wifi)ros 发布容易阻塞,且可能接收到其他主机发布的数据出现串绕。因此建议在运行ros driver及需要接收消息的终端主动配置 ROS_DOMAIN_ID,达到隔离的效果

PLAIN
#网口配置优化
sudo sysctl -w net.core.rmem_max=16777216
sudo sysctl -w net.core.rmem_default=8388608
sudo sysctl -w net.core.netdev_max_backlog=50000

#设置domain ID
export ROS_DOMAIN_ID=*   # *取值1-99任一数字,可考虑隔离

ros2 引入了 qos 概念,需要确保话题的发布者和订阅者使用一致的qos,才能达到最佳效果。官方文档请参考:https://docs.ros.org/en/humble/Concepts/Intermediate/About-Quality-of-Service-Settings.html

当前 ros driver 为不同类型数据配置了两种 qos:

JAVA
// Small data with queue depth 4000
auto qos_small = rclcpp::QoS(4000)
                        .reliability(RMW_QOS_POLICY_RELIABILITY_RELIABLE)
                        .durability(RMW_QOS_POLICY_DURABILITY_VOLATILE);

// Large sensor data with larger queue to avoid blocking
auto qos_sensor = rclcpp::QoS(5)
                        .reliability(RMW_QOS_POLICY_RELIABILITY_RELIABLE)
                        .durability(RMW_QOS_POLICY_DURABILITY_VOLATILE);

默认使用 RELIABLE 和 VOLATILE 是为了与rviz匹配(否则无法显示),并降低数据丢失风险,但是因包含重传逻辑负载相对较大。可以按需求更改为 best effort 等其他策略。

2.4 启动 ROS 驱动与Rviz可视化

ros2 launch 用于按照启动文件统一启动 ROS 节点。其中,odin_ros_driver_rev1 是驱动包名,odin2Special.launch.py 是启动文件,负责配置主驱动、图像后处理、点云处理及 RViz 等组件

Markdown
source /opt/ros/humble/setup.bash
ros2 launch odin_ros_driver_rev1 driver.launch.py

启动参数可通过在命令末尾追加 参数名:=值 设置,多个参数之间用空格分隔。

参数默认值说明
start_rviztrue是否启动 RViz
image_width0图像宽度,0 = 使用设备默认
image_height0图像高度,0 = 使用设备默认
image_fps0图像帧率,0 = 使用设备默认(部分驱动版本可能调整不生效)
image_formatmjpeg图像格式:mjpeg/yuyv/nv12/nv21/rgb24

例如,start_rviz:=false 表示不启动 RViz,适合无需本机(一般是Orin)可视化的场景

指定全分辨率图像输出的命令为:

PLAIN
ros2 launch odin_ros_driver_rev1 driver.launch.py \
  image_width:=1280 \
  image_height:=1088

image_width、image_height 不指定时默认半分辨率,生效参数可在启动日志查看

开发机PC打开Rviz

PLAIN
#保留加载驱动终端运行,在本地电脑上执行

source /opt/ros/humble/setup.bash

export ROS_DOMAIN_ID=69    #按需设置
export ROS_LOCALHOST_ONLY=0
export RMW_IMPLEMENTATION=rmw_fastrtps_cpp

rviz2

查看点云

1. 设置 Fixed Frame

Global Options → Fixed Frame 下拉选择:device0/base_link

2. 添加点云订阅

选择:Add → By display type → PointCloud2 → OK

add1\.png

3. 设置 Topic:选择:/manifold/ODIN2/device0/cloud/raw

4. 设置 QoS:可以调整Reliability Policy: Best Effort

point\.png

2.5 发布话题、节点和服务

功能节点

节点说明
odin_ros_driver_node主驱动节点:连接设备、发布原始数据、提供标定服务
post_process_node后处理节点:图像去畸变、点云着色、立体校正

odin_ros_driver_node(主驱动节点)发布话题

话题(省略设备前缀 )类型说明
cloud_rawsensor_msgs/PointCloud2原始点云(256×192)
cloud_slamsensor_msgs/PointCloud2SLAM 彩色点云
image/compressedsensor_msgs/CompressedImage左相机 JPEG 压缩图像
image_rawsensor_msgs/Image左相机解码后 RGB 图像
image2/compressedsensor_msgs/CompressedImage右相机 JPEG 压缩图像
image2_rawsensor_msgs/Image右相机解码后 RGB 图像
imusensor_msgs/ImuIMU 数据(加速度、角速度)
odometrynav_msgs/Odometry里程计数据
gray_imagesensor_msgs/Image灰度图像(mono8)

post_process_node(后处理节点)发布话题

话题(省略设备前缀 )类型说明
image_undistortsensor_msgs/Image左相机去畸变图像
image2_undistortsensor_msgs/Image右相机去畸变图像
cloud_colorsensor_msgs/PointCloud2着色点云(点云+图像融合)
left_rectsensor_msgs/Image立体校正后左图像
right_rectsensor_msgs/Image立体校正后右图像
left_camera_infosensor_msgs/CameraInfo左相机校正后内参
right_camera_infosensor_msgs/CameraInfo右相机校正后内参
depth_pointcloudsensor_msgs/PointCloud2视差转点云输出

服务

服务类型说明
odin/get_calibrationGetCalibration获取相机标定 YAML 内容

Note:对于点云和图像数据,Odin设备本身输出cloud/raw,slam,image/raw,compressed,其他后处理和算法比如去畸变等都依靠主机Odin完成,这些数据输出一般会走Odin的硬件加速

2.6 长短帧模式切换

High peak长帧模式:优化过强光照下雷达接收信号质量,近距离精度低,建议戶外场景使用

Low peak短帧模式:优化近距离小空间测距不准和噪点问题,受强光影响大,建议室内场景使用

  1. 另起一个电脑终端命令行输入 rqt或者rqt2,需提前安装
  2. 运行驱动后会自动读取odin_driver配置界面,如果没有显示odin_driver配置界面,可以点击左下角Refresh按钮,显示odin_driver节点
  3. sensor_mode处进行调整,1和2分别对应长帧和短帧

rqt\.png

2.7 问题诊断和录包

2.7.1 PC上查看点云与相机画面建议

  • 优先通过有线连接T800。若使用WIFI,则尽量做到如下检查
  • 按需订阅。 建议先开启单目压缩图像和一路点云预览,逐项增加显示;避免同时订阅 raw 图像、raw/SLAM/地图等多路大数据,以及在 PC 上全量录包或重复开多个查看器。
  • 图像在 PC 解码。 优先订阅 camera0/compressed,在 PC 解码显示。MJPEG 模式对应 JPEG;H.264 需要匹配的解码器。先使用已确认支持的分辨率;需要降到 10–15 FPS 时,应从设备实际能力表选择。
  • 点云可以先减量再过 Wi-Fi。 预览可从机器人端 5 FPS、5–10 cm 体素降采样开始调整。仅降低 PC 显示刷新率不会减少网络传输;本版行滤波只把部分点坐标置零,基本不减少消息体积。
  • QoS 按用途选择。 实时预览可先试 Best Effort、Keep Last、Depth 1–2;需要较完整接收时,在链路有余量后评估 Reliable。Reliable 可补偿丢包,也可能因重传、排队造成停顿;Best Effort 也不能保证大消息在拥塞时仍能组成完整帧。
  • 显式配置通信环境。 两端 Domain ID 保持一致,ROS_LOCALHOST_ONLY=0;排查时统一 DDS 实现,指定实际通信网卡及对端地址。Cyclone DDS 可从上文 spdp、1400B/1200B 配置开始验证;它是现场起点,不是所有 Wi-Fi 的固定最优值。

2.7.2 FAQ

Q1:能看到话题、能 ping 通,为什么画面仍然停住? 话题可见证明发现成功,ping 主要反映小包可达性,都不能证明大帧持续接收正常。先比较机器人本地与 PC 的帧率;若本地也下降,进一步检查发布阻塞、计算负载和雷达链路。若 PC 明显更差,按“单图像→单点云→组合”定位负载阈值,检查订阅者、QoS、分片重组失败和接收缓冲区丢包。

Q2:新终端或直接打开 rqt,为何发现不到驱动?URI 是机器人地址吗? 新进程需要继承正确环境。CYCLONEDDS_URI 指向本机 DDS XML 文件;网卡和机器人 Peer 地址写在该文件中。先将PC 配置按实际网卡/机器人 IP 调整,保存为 ~/odin_dds_pc.xml,再执行:

Bash
source /opt/ros/humble/setup.bash
export ROS_DOMAIN_ID=69 ROS_LOCALHOST_ONLY=0
export RMW_IMPLEMENTATION=rmw_cyclonedds_cpp
export CYCLONEDDS_URI="file://${HOME}/odin_dds_pc.xml"

69 是示例值,实际可选其他一致的 Domain。启动 rqt/RViz 的终端也需加载环境;已运行的 GUI 和驱动不会因另一个终端 export 而自动更新。需要自定义服务时,还应加载对应接口工作空间。

2.7.3 关于录包

Odin设备输出双路30fps rgb 和 10fps点云,数据量较大,设置匹配的qos对稳定获取数据至关重要。我们提供了录包所需的 qos overrides 文件,提高录包稳定性:ros_driver/config/rosbag2_qos.yaml

PLAIN
ros2 bag record --qos-profile-overrides-path rosbag2_qos.yaml

2.8 Note

当前Odin出厂固件和驱动分别为2.0.9和2.0.2,驱动进行了预编译。可执行节点以及launch文件、配置、标定文件等在/opt/ros/humble/lib以及/opt/ros/humble/share目录下

如需获取驱动以及固件更新,内测版使用体验等,请提交工单

部分固件和驱动版本存在兼容关系,特定情况下需要同步更新固件;新驱动发布的话题前缀和开启的服务可能有变化,需灵活调整

获取新驱动后,在电脑终端:

Bash
#传输文件
scp ros_driver.tar.xz ubuntu@192.168.0.162:~

#ssh到Orin
ssh ubuntu@192.168.0.162
mkdir -p ~/odin_ws/src
tar -xJf ~/ros_driver.tar.xz -C ~/odin_ws/src

#编译
cd ~/odin_ws/
source /opt/ros/humble/setup.bash
./src/ros_driver/script/build_ros2.sh

#加载新驱动(先通过top确保关闭原ros_driver进程)
source install/setup.sh
ros2 launch odin_ros_driver_rev1 driver.launch.py #(或odin2Special.launch.py)