OPENCV——RV1126+OPENCV对视频流进行膨胀、腐蚀

一、视频膨胀操作的大体流程图本章节是利用RV1126的视频流结合OPENCV的API对视频流进行膨胀然后对其进行编码保存。要完成这个功能我们首先要初始化VI、VENC的模块并且使能然后需要创建两个线程。第一个线程是opencv_vi_dliate_thread它的主要功能是获取VI原始数据并用OPENCV转换成Mat矩阵然后用dilate对其VI数据进行膨胀然后把VI数据发送到VENC编码器。第二个线程是GET_VENC_STREAM_THREAD它主要是获取H264的VENC码流数据并且保存到H264文件。二、具体代码实现// Copyright 2020 Fuzhou Rockchip Electronics Co., Ltd. All rights reserved. // Use of this source code is governed by a BSD-style license that can be // found in the LICENSE file. #include assert.h #include fcntl.h #include getopt.h #include opencv2/imgproc.hpp #include pthread.h #include signal.h #include stdbool.h #include stdio.h #include stdlib.h #include time.h #include unistd.h // #include common/sample_common.h #include rkmedia_api.h #include opencv2/core.hpp // #include opencv2/imgoroc.hpp #include opencv2/highgui.hpp #include opencv2/opencv.hpp using namespace cv; using namespace std; #define CAMERA_PATH rkispp_scale0 #define CAMERA_ID 0 #define CAMERA_CHN 0 #define VENC_CHN 0 #define WIDTH 1920 #define HEIGHT 1080 void *opencv_vi_dliate_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb NULL; while (1) { mb RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI数据 if (!mb) { printf(Get Vi stream break...\n); break; } Mat rv1126_vi_mat Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb)); //把VI数据转换成OPENCV的Mat矩阵 Mat rv1126_vi_structure getStructuringElement(MORPH_RECT, Size(15, 15));//获取内核内核的形状是矩形长度大小是15 * 15 dilate(rv1126_vi_mat, rv1126_vi_mat, rv1126_vi_structure);//对Mat矩阵进行dilate膨胀 RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把膨胀后的数据传输到VENC编码器 RK_MPI_MB_ReleaseBuffer(mb);//释放资源 } return NULL; } void *get_venc_stream_thread(void * args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb NULL; FILE *opencv_dliate_file fopen(test_opencv_dliate.h264, w); while (1) { mb RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1); if (!mb) { printf(Get Venc stream break...\n); break; } printf(Get Dlite_Venc Stream Success...\n); fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, opencv_dliate_file); RK_MPI_MB_ReleaseBuffer(mb); } return NULL; } int main() { int ret; VI_CHN_ATTR_S vi_chn_attr; vi_chn_attr.pcVideoNode CAMERA_PATH; // Path vi_chn_attr.u32Width 1920; // Width vi_chn_attr.u32Height 1080; // Height vi_chn_attr.enPixFmt IMAGE_TYPE_NV12; // ImageType vi_chn_attr.enBufType VI_CHN_BUF_TYPE_MMAP; // BufType vi_chn_attr.u32BufCnt 3; // Cnt vi_chn_attr.enWorkMode VI_WORK_MODE_NORMAL; // Mode ret RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, vi_chn_attr); if (ret) { printf(Vi Set Attr Failed.....\n); return 0; } else { printf(Vi Set Attr Success.....\n); } ret RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN); if (ret) { printf(Vi Enable Attr Failed.....\n); return 0; } else { printf(Vi Enable Attr Success.....\n); } VENC_CHN_ATTR_S venc_chn_attr; memset(venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S)); venc_chn_attr.stVencAttr.u32PicWidth 1920; venc_chn_attr.stVencAttr.u32PicHeight 1080; venc_chn_attr.stVencAttr.u32VirWidth 1920; venc_chn_attr.stVencAttr.u32VirHeight 1080; venc_chn_attr.stVencAttr.imageType IMAGE_TYPE_NV12; venc_chn_attr.stVencAttr.enType RK_CODEC_TYPE_H264; venc_chn_attr.stVencAttr.u32Profile 66; venc_chn_attr.stRcAttr.enRcMode VENC_RC_MODE_H264CBR; venc_chn_attr.stRcAttr.stH264Cbr.u32Gop 25; venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate 1920 * 1080 * 3; venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen 1; venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum 25; venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen 1; venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum 25; ret RK_MPI_VENC_CreateChn(VENC_CHN, venc_chn_attr); if (ret) { printf(ERROR: Create venc failed!\n); exit(0); } ret RK_MPI_VI_StartStream(CAMERA_ID, CAMERA_CHN); if (ret) { printf(start vi stream failed.....\n); } else { printf(start vi stream success.....\n); } pthread_t pid; pthread_create(pid, NULL, opencv_vi_dliate_thread, NULL);//膨胀处理线程 pthread_create(pid, NULL, get_venc_stream_thread, NULL);//获取VENC线程 while (1) { sleep(2); } RK_MPI_VENC_DestroyChn(VENC_CHN); RK_MPI_VI_DisableChn(CAMERA_ID, CAMERA_CHN); return 0; }2.1. RV1126模块初始化并启动VI工作RV1126模块的初始化包括VI模块的初始化(RK_MPI_VI_SetChnAttr)、使能VI模块(RK_MPI_VI_EnableChn)、VENC模块的初始化(RK_MPI_VENC_CreateChn)、启动VI工作(RK_MPI_VI_StartStream)。关于这方面的参数设置我们就不详细说了因为这方面的内容之前的课程已经详细说过。2.2. opencv_dliate_vi_thread线程的讲解void *opencv_vi_dliate_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb NULL; while (1) { mb RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI数据 if (!mb) { printf(Get Vi stream break...\n); break; } Mat rv1126_vi_mat Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb)); //把VI数据转换成OPENCV的Mat矩阵 Mat rv1126_vi_structure getStructuringElement(MORPH_RECT, Size(15, 15));//获取内核内核的形状是矩形长度大小是15 * 15 dilate(rv1126_vi_mat, rv1126_vi_mat, rv1126_vi_structure);//对Mat矩阵进行dilate膨胀 RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把膨胀后的数据传输到VENC编码器 RK_MPI_MB_ReleaseBuffer(mb);//释放资源 } return NULL; }上面是opencv_dliate_vi_thread线程的具体实现首先我们要通过RK_MPI_SYS_GetMediaBuffer获取每一帧的VI视频原始数据然后把每一帧的原始数据通过OPENCV转换成Mat矩阵。Mat矩阵的转换用构造器就可以Mat rv1126_vi_mat Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb))第一个参数是HEIGHT1080第二个参数WIDTH1920第三个参数图像格式CV_8UC1第四个参数:具体的图像数据RK_MPI_MB_GetPtr(mb)。然后调用dilate的对其Mat矩阵进行膨胀这里的膨胀参数我们设置成矩形和Size(15,15)(具体的如下Mat rv1126_vi_structure getStructuringElement(MORPH_RECT, Size(15, 15));)2.3. get_venc_stream_thread线程的讲解void *get_venc_stream_thread(void * args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb NULL; FILE *opencv_dliate_file fopen(test_opencv_dliate.h264, w); while (1) { mb RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1); if (!mb) { printf(Get Venc stream break...\n); break; } printf(Get Dlite_Venc Stream Success...\n); fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, opencv_dliate_file); RK_MPI_MB_ReleaseBuffer(mb); } return NULL; }上面是get_venc_stream_thread的具体实现在这个线程里面要通过RK_MPI_SYS_GetMediaBuffer获取每一帧H264的编码数据然后用fwrite写入经过上面的编码后输出的H264文件。这个视频流更加的明亮整个视频流的细节都变大了三、视频腐蚀操作的大体流程图本章节是利用RV1126的视频流结合OPENCV的API对视频流进行腐蚀然后对其进行编码保存。要完成这个功能我们首先要初始化VI、VENC的模块并且使能然后需要创建两个线程。第一个线程是opencv_vi_erode_thread它的主要功能是获取VI原始数据并用OPENCV转换成Mat矩阵然后用erode对其VI数据进行腐蚀然后把VI数据发送到VENC编码器。第二个线程是GET_VENC_STREAM_THREAD它主要是获取H264的VENC码流数据并且保存到H264文件。四、具体代码实现#include assert.h #include fcntl.h #include getopt.h #include opencv2/imgproc.hpp #include pthread.h #include signal.h #include stdbool.h #include stdio.h #include stdlib.h #include time.h #include unistd.h // #include common/sample_common.h #include rkmedia_api.h #include opencv2/core.hpp // #include opencv2/imgoroc.hpp #include opencv2/highgui.hpp #include opencv2/opencv.hpp using namespace cv; using namespace std; #define CAMERA_PATH rkispp_scale0 #define CAMERA_ID 0 #define CAMERA_CHN 0 #define VENC_CHN 0 #define WIDTH 1920 #define HEIGHT 1080 void *opencv_vi_erode_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb NULL; while (1) { mb RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI数据 if (!mb) { printf(Get Vi Stream break.....\n); break; } Mat rv1126_mat Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));//把VI数据转换成OPENCV的Mat矩阵 Mat rv1126_structure getStructuringElement(MORPH_RECT, Size(15, 15));//获取内核内核的形状是矩形长度大小是15 * 15 erode(rv1126_mat, rv1126_mat, rv1126_structure);//对Mat矩阵进行erode腐蚀 RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把腐蚀后的数据传输到VENC编码器 RK_MPI_MB_ReleaseBuffer(mb);//释放资源 } return NULL; } void *get_venc_stream_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb NULL; FILE * opencv_erode_h264_file fopen(opencv_erode.h264, w); while (1) { mb RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1); if (!mb) { printf(Get Venc Stream break.....\n); break; } printf(Get ERODE_STREAM Success...\n); fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, opencv_erode_h264_file); RK_MPI_MB_ReleaseBuffer(mb); } return NULL; } int main() { int ret; VI_CHN_ATTR_S vi_chn_attr; vi_chn_attr.pcVideoNode CAMERA_PATH; // Path vi_chn_attr.u32Width 1920; // Width vi_chn_attr.u32Height 1080; // Height vi_chn_attr.enPixFmt IMAGE_TYPE_NV12; // ImageType vi_chn_attr.enBufType VI_CHN_BUF_TYPE_MMAP; // BufType vi_chn_attr.u32BufCnt 3; // Cnt vi_chn_attr.enWorkMode VI_WORK_MODE_NORMAL; // Mode ret RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, vi_chn_attr); if (ret) { printf(Vi Set Attr Failed.....\n); return 0; } else { printf(Vi Set Attr Success.....\n); } ret RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN); if (ret) { printf(Vi Enable Attr Failed.....\n); return 0; } else { printf(Vi Enable Attr Success.....\n); } VENC_CHN_ATTR_S venc_chn_attr; memset(venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S)); venc_chn_attr.stVencAttr.u32PicWidth 1920; venc_chn_attr.stVencAttr.u32PicHeight 1080; venc_chn_attr.stVencAttr.u32VirWidth 1920; venc_chn_attr.stVencAttr.u32VirHeight 1080; venc_chn_attr.stVencAttr.imageType IMAGE_TYPE_NV12; venc_chn_attr.stVencAttr.enType RK_CODEC_TYPE_H264; venc_chn_attr.stVencAttr.u32Profile 66; venc_chn_attr.stRcAttr.enRcMode VENC_RC_MODE_H264CBR; venc_chn_attr.stRcAttr.stH264Cbr.u32Gop 25; venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate 1920 * 1080 * 3; venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen 1; venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum 25; venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen 1; venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum 25; ret RK_MPI_VENC_CreateChn(VENC_CHN, venc_chn_attr); if (ret) { printf(ERROR: Create venc failed!\n); exit(0); } ret RK_MPI_VI_StartStream(CAMERA_ID, CAMERA_CHN); if (ret) { printf(ERROR: Start Vi failed.....!\n); return -1; } else { printf(SUCCESS: Start Vi success.....!\n); } pthread_t pid; pthread_create(pid, NULL, opencv_vi_erode_thread, NULL);//腐蚀处理线程 pthread_create(pid, NULL, get_venc_stream_thread, NULL);//获取VENC线程 while (1) { sleep(2); } RK_MPI_VENC_DestroyChn(VENC_CHN); RK_MPI_VI_DisableChn(CAMERA_ID, CAMERA_CHN); return 0; }4.1. RV1126模块初始化并启动VI工作RV1126模块的初始化包括VI模块的初始化(RK_MPI_VI_SetChnAttr)、使能VI模块(RK_MPI_VI_EnableChn)、VENC模块的初始化(RK_MPI_VENC_CreateChn)、启动VI工作(RK_MPI_VI_StartStream)。关于这方面的参数设置我们就不详细说了因为这方面的内容之前的课程已经详细说过。2.2. opencv_erode_vi_thread线程的讲解void *opencv_vi_erode_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb NULL; while (1) { mb RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI数据 if (!mb) { printf(Get Vi Stream break.....\n); break; } Mat rv1126_mat Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));//把VI数据转换成OPENCV的Mat矩阵 Mat rv1126_structure getStructuringElement(MORPH_RECT, Size(15, 15));//获取内核内核的形状是矩形长度大小是15 * 15 erode(rv1126_mat, rv1126_mat, rv1126_structure);//对Mat矩阵进行erode腐蚀 RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把腐蚀后的数据传输到VENC编码器 RK_MPI_MB_ReleaseBuffer(mb);//释放资源 } return NULL; }上面是opencv_erode_vi_thread线程的具体实现首先我们要通过RK_MPI_SYS_GetMediaBuffer获取每一帧的VI视频原始数据然后把每一帧的原始数据通过OPENCV转换成Mat矩阵。Mat矩阵的转换用构造器就可以Mat rv1126_mat Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));第一个参数是HEIGHT1080第二个参数WIDTH1920第三个参数图像格式CV_8UC1第四个参数:具体的图像数据RK_MPI_MB_GetPtr(mb)。然后调用erode的对其Mat矩阵进行腐蚀这里的膨胀参数我们设置成矩形和Size(15,15)具体的(Mat rv1126_structure getStructuringElement(MORPH_RECT, Size(15, 15)))。2.3. get_venc_stream_thread线程的讲解void *get_venc_stream_thread(void *args) { pthread_detach(pthread_self()); MEDIA_BUFFER mb NULL; FILE * opencv_erode_h264_file fopen(opencv_erode.h264, w); while (1) { mb RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1); if (!mb) { printf(Get Venc Stream break.....\n); break; } printf(Get ERODE_STREAM Success...\n); fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, opencv_erode_h264_file); RK_MPI_MB_ReleaseBuffer(mb); } return NULL; }上面是get_venc_stream_thread的具体实现在这个线程里面要通过RK_MPI_SYS_GetMediaBuffer获取每一帧H264的编码数据然后用fwrite写入。经过上面的编码后我们来看看输出的H264文件。这个视频流明显更加暗淡并且细节都变小了