Skip to content

fix(air): 兼容 AirSim BGR/BGRA 图像并校正 ROS 编码 - #913

Merged
lxyhhm merged 4 commits into
OpenHUTB:masterfrom
transient-dzx:pr6-end2end
Nov 15, 2026
Merged

lxyhhm merged 4 commits into
OpenHUTB:masterfrom
transient-dzx:pr6-end2end

Conversation

@transient-dzx

@transient-dzx transient-dzx commented Nov 6, 2026 •

Copy link
Copy Markdown
Contributor

原端到端模块已由 #917 合入主分支。本 PR 基于最新 master,仅修复 AirSim Scene 图像通道问题:统一解码 BGR/BGRA,去除 alpha;ROS 话题编码校正为 bgr8;训练与部署保持现有权重使用的 BGR 顺序,并兼容 rgb8 输入。验证:catkin_make、37 个单测和完整 MkDocs 构建通过;当前差异 7 个文件且无冲突。开发中使用大模型辅助,提交者对内容负责。

@transient-dzx
transient-dzx force-pushed the pr6-end2end branch 3 times, most recently from 8dea13d to 87b4815 Compare November 10, 2026 15:55
@transient-dzx

Copy link
Copy Markdown
Contributor Author

@Dame-time-0034 可以麻烦帮忙看一下吗,谢谢

@Dame-time-0034

Copy link
Copy Markdown

好的,请稍等,需要晚一点点

@Dame-time-0034

Dame-time-0034 commented Nov 11, 2026 •

Copy link
Copy Markdown

感谢提交这个端到端模块,整体完成度不错。我在 Windows + Python 3.10(torch 2.14.1+cpu)上做了一轮纯 Python 侧验证,把结论和限制写清楚,供你参考。

一、为什么有些内容我无法验证

我这边只有 Windows 桌面环境,缺三样东西,所以只能验证“不依赖仿真”的部分:

  1. 没有 AirSim 1.8.1 仿真器与 Windows 侧渲染环境,既拿不到真实机载图像,也无法起飞;
  2. 本机没有 Ubuntu 20.04 / ROS Noetic(未装 WSL 发行版,也没有 Docker),无法 catkin_make 与 roslaunch;
  3. 仓库里没有训练集(1917 条图像-动作对),训练过程与 0.052 的验证损失无法复现,只能验证已训练权重的推理链路。

因此 10.89 m、24.9 s、0 碰撞这几项飞行指标我无法独立确认,需要你在仿真环境里补充日志或录屏来自证,这不是对结果的质疑。

二、已验证(通过)

  • models/end2end.pt 与 End2EndNet 严格匹配:load_state_dict(strict=True) 通过,360,739 参数;checkpoint 内含 action_scale=[3,2,1]、img_hw=[36,64],与代码默认值一致。
  • 前向 [1,3,36,64] → [1,3],输出全为有限值;权重确为训练所得(与随机初始化在零输入上的最大差 2.44)。
  • 预处理与节点一致:downsample 块均值与手算误差 0;144×256 与 720p 输入都能归一到 36×64;/255 + CHW 后形状正确。
  • 限幅链路正确:零输入输出归一化 [2.42, 0.63, −0.09] → 物理 [7.26, 1.25, −0.09] → 裁剪为 vx=3.0, vy=1.25, yaw=−0.09;高度 P 在目标高度输出 0,偏差 2 m 时饱和 1.5。
  • 坐标与单位自洽:bridge 做 body→world 旋转、rad/s→deg/s、odom NED→ENU(z 翻正),节点 altitude − odom.z 在 ENU 下成立。

三、我这边未能确认的两点

  1. 通道数。AirSim 未压缩 Scene 通常是 BGRA 4 字节/像素,而 camera_perception.py 与 train_end2end.py 都写成 reshape(h, w, 3)。我复现了这条失败路径:ValueError: cannot reshape array of size 147456 into shape (144,256,3);在相机节点里该异常会被 except 吞掉,因此我无法判断实际运行时 /uav/image_raw 是否真的在发布。一行可以自查:print(len(resp.image_data_uint8) / (resp.height * resp.width))。
  2. 颜色序。即使返回 3 通道,AirSim 给的是 BGR,而消息标成 rgb8;训练与推理同源,所以闭环不受影响,但话题上的颜色序与实际数据不一致。

另外记录一个观察:全黑图(全 0 输入)时网络输出 vx 归一化 2.42 → 物理 7.26 m/s,被限幅到 3 m/s。

四、整体评价

做得好的地方:训练与部署共用同一份网络与预处理,权重、action_scale、img_hw 一起保存,避免结构漂移;降采样用分块均值而非抽样,小障碍物不容易漏;速度/角速度限幅、图像缺失时不发指令、NED→ENU 与 rad→deg 的换算都处理得比较完整;权重只有 1.4 MB,部署成本低。

整体判断:主体实现是可信的,核心链路(权重—结构—预处理—限幅—坐标)经得起检查;目前证据主要覆盖纯 Python 链路,仿真侧的数据与画面通道相关的细节我没能在这台机器上确认。

@transient-dzx

Copy link
Copy Markdown
Contributor Author

@3481842091 麻烦可以帮我审核合并吗,谢谢

@transient-dzx transient-dzx changed the title feat(air): 新增无人机端到端视觉控制(相机感知、CNN 训练与部署) fix(air): 兼容 AirSim BGR/BGRA 图像并校正 ROS 编码 Nov 14, 2026
@transient-dzx

Copy link
Copy Markdown
Contributor Author

感谢此前审核指出通道数与颜色序问题。已将旧 PR 整理为 7 文件增量修复:兼容 AirSim 3/4 通道并保留训练权重所需 BGR 顺序,ROS 消息正确标为 bgr8。37 个单测、catkin_make 与完整 MkDocs 构建通过;GitHub 显示无冲突。请复审。

@lxyhhm

lxyhhm commented Nov 14, 2026

Copy link
Copy Markdown
Contributor

@transient-dzx 代码改动我本地复核过,pytest test 是 37 passed;但当前 head 92604769 的 GitHub check-runs 是 0,没有 CI 记录。麻烦补一次 CI 再 Approve:

  • 触发一次现有的 build-and-test(如果 workflow 没覆盖 src/air/uav_nn_perception_navigation,就在 workflow 的 paths 里补上该目录,或加一个该模块的小 workflow);
  • 至少跑 catkin_make + pytest test(37 项);MkDocs 能跑更好;
  • 跑完把 Actions run 链接贴一下。

CI 通过后我这边没有其他阻塞项,可以 Approve。

@transient-dzx

Copy link
Copy Markdown
Contributor Author

@lxyhhm 已补充该模块的 GitHub Actions 检查,并按仓库 requirements-docs.txt 修正了文档依赖。最新 head 337b486 的运行结果:build-and-test(catkin_make + pytest 37 项)和 docs(完整 MkDocs build)均通过。运行记录:https://github.com/OpenHUTB/ros2/actions/runs/43625096542 。本次最终文件差异仅涉及 .github/workflows/uav_nn_perception_navigation.yml,PR 当前无合并冲突。麻烦复核并 Approve,谢谢。

@lxyhhm
lxyhhm merged commit f4137d1 into OpenHUTB:master Nov 15, 2026
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

4 participants