3.1.1 MIPI Camera Usage Instructions

环境配置

硬件连接

请将 MIPI 摄像头模组连接至开发板的 MIPI CSI 接口。具体连接方式可参考下图所示：

同时，开发板与显示器之间请使用 HDMI 线缆进行连接，以便输出图像画面。

设备测试

1）探测摄像头并生成配置文件

首先确认摄像头所连接的 MIPI CSI 接口编号。例如若连接至 CSI1，则运行以下命令：

cam-test /usr/share/camera_json/csi1_camera_detect.json

若摄像头为已支持型号，系统将自动识别，并输出如下日志，同时在 /tmp/ 目录下生成配置文件：

...
I: ./sensors/cam_sensors_module.c(239): "detect imx219_spm sensors in csi3: success, set 1920x1080 to 1920x1080"
I: auto_detect_camera(1430): "auto detect sensor ===================== finish "
E: update_json_file(709): "Open /usr/share/camera_json/csi3_camera_auto.json file fail"
E: update_json_file(709): "Open /usr/share/csi3_camera_auto.json file fail"
I: update_json_file(723): "save json to /tmp/csi1_camera_auto.json success"

⚠️ 若无法确认 CSI 接口编号，请参考 MUSE 系列开发板用户手册或尝试 CSI1 ~ CSI3 接口逐个测试。若均无法识别，可能为硬件故障或未适配的摄像头，后者情况下，建议参考官方文档 Camera Development Guide | Bianbu Linux 进行适配操作。

2）复制并修改 JSON 文件

将自动生成的摄像头配置文件复制至指定路径，并重命名为 svivi_cam1.json：

sudo cp /tmp/csi1_camera_auto.json /root/svivi_cam1.json

打开该 JSON 文件，在顶层添加如下字段以启用 Virtual Camera 模式：

"use_v4l": 1

3）出图测试验证

使用调试工具 v4l2_test_spacemit 进行图像采集测试。

下载安装与编译：

mkdir v4l2_test_spacemit
wget https://archive.spacemit.com/ros2/code/v4l2_test_spacemit.tar.gz
tar xvzf v4l2_test_spacemit.tar.gz
gcc v4l2_capture.c v4l2_main.c v4l2_output.c v4l2_stream.c v4l2_common.c -o v4l2_test_spacemit --static

执行采图命令：

./v4l2_test_spacemit \
  --device /dev/video50 \
  --set-fmt-video width=1920,height=1080,pixelformat=NV12 \
  --verbose \
  --stream-dmabuf \
  --stream-loop \
  --stream-save 10 \
  --stream-to=test.yuv

正常输出示例：

...
VIDIOC_DQBUF: ok, type:9
VIDIOC_QBUF: ok, type:9
do_handle_cap:723 [INFO]m2m capture dequeue----------------: 15
...

使用 Ctrl+C 可中断采集

⚠️ 注意事项：

最大支持分辨率为 1920×1080（1080p）

仅支持图像格式：NV12

内存类型要求：dmabuf

至此，说明 MIPI 摄像头可用，可以进行后续流程。

C++ 接口

以下示例展示了如何使用 JDK 提供的 C++ 接口完成 MIPI 相机图像的采集与显示：

// 打开摄像头节点
auto camera = JdkCamera::create("/device/video50", 1920, 1080, V4L2_PIX_FMT_NV12);

// 初始化显示模块（vo）
auto jdkvo = std::make_shared<JdkVo>(1920, 1080, PIXEL_FORMAT_NV12);

// 获取一帧图像数据
auto frame = camera->getFrame();

// 将图像帧发送至显示模块
auto ret = jdkvo->sendFrame(frame);

快速开始

本节介绍如何在开发板上使用 JDK 提供的 MIPI 摄像头采集 SDK 进行编译与运行。

1）将源码包 jdk_cam.tar 下载至开发板本地，并解压：

tar xvf jdk_cam.tar

解压后目录结构如下：

jdk_cam/
├── Makefile
├── .clang-format
├── src/
│   └── main.cpp
└── workspace/

2）进入源码目录，编译 SDK：

cd jdk_cam
make all

编译成功后，执行文件 jdk_cam 将生成于 workspace/ 目录下：

./workspace/jdk_cam

3）加载 jdk_dma 驱动模块，加载之前确保驱动模块已安装：

insmod /opt/jdk/ko/jdk_dma.ko

4）运行采集程序并指定 MIPI 摄像头设备节点（如 /dev/video50）：

./workspace/jdk_cam /dev/video50

正常运行时，终端将输出摄像头采集与显示初始化的日志信息。例如：

start buffer preprocessing
start buffer queue
VIDIOC_STREAMON succeeded
[MPP-DEBUG] 10419:VO_CreateChannel:43 create VO Channel success!
[MPP-DEBUG] 10419:module_init:159 +++++++++++++++ module init, module type = 101
[MPP-DEBUG] 10419:check_vo_sdl2:121 yeah! have vo_sdl2---------------
[MPP-DEBUG] 10419:find_vo_sdl2_plugin:86 yeah! we have vo_sdl2_plugin plugin---------------
[MPP-DEBUG] 10419:module_init:207 ++++++++++ VO_SDL2 (/usr/lib/libvo_sdl2_plugin.so)
[MPP-DEBUG] 10419:module_init:207 ++++++++++ open (/usr/lib/libvo_sdl2_plugin.so) success !
[MPP-ERROR] 10419:al_vo_init:93 SDL could not initialize! SDL_Error: wayland not available
[MPP-ERROR] 10419:al_vo_init:128 k1 vo_sdl2 init fail
[MPP-DEBUG] 10419:VO_Init:66 init VO Channel, ret = -400
[MPP-ERROR] 10419:JdkVo:32 VO_init failed, please check!
[MPP-DEBUG] 10419:VO_Process:82 vo one packet, ret = 0
index:0,dma_fd:12 width:1920,height:1080,size:3110400

运行效果

程序运行后，摄像头采集到的图像将在显示器上实时呈现，如下图所示：

环境配置​

硬件连接​

设备测试​

C++ 接口​

快速开始​

运行效果​