基于Vivado HLS的OpenCV开发原理（简单）
BeanJoy 2020-02-24
*本文是对Xilinx官方教学视频部分内容的提炼和简单整理
原视频地址：http://v.elecfans.com/video/ysp-v2.html
1 HLS视频库与OpenCV
OpenCV是可以直接在ARM架构上运行的计算机视觉库，但是在FPGA上不能直接处理。
在HLS中对OpenCV的开发过程可以看作分成两个部分：输入输出模块（模块A和D）以及处理模块（模块B和C）。其中输入输出部分是软件完成的，将数据转换成AXIvideo格式并将OpenCV的函数转换为相应的HLS可综合的函数，使得算法可综合并用FPGA硬件加速算法。第二步的转换过程AXIvideo2HLS是转成MAT格式（相当于OpenCV的矩阵形式）或Stream格式（数据流的形式）来处理图像数据。流架构的设计优势是性能更高，功耗更低。
前面提到OpenCV代码是不可综合的，原因在于OpenCV的很多函数是采用动态内存分配的；函数运算都是基于浮点数运行的；且其默认图像总是在外部存储器中修改的。而对于FPGA来说，图像是从DDR中导入在内部进行处理的。
HLS视频库（HLS Video Library）是对OpenCV许多函数的替换，使其变成基于FPGA优化处理的替代OpenCV的函数。比如，最基本的就是其运算是定点运算，而不是浮点运算。其部分函数如下：
具体的函数功能在UG902文档中均有介绍。需要注意的是这些视频库函数是在hls命名空间中的，不要忘记声明头文件。
2 HLS视频库C++代码详解
下图为使用HLS视频库函数的具体例子，包括各个环节的对应代码。其中，hls_video.h中的内容都是可综合的，而hls_opencv.h中的内容是不可综合的。
可以看到在上述代码中有很多pragma语句，是对编译器的约束指令。
2.1 #pragma约束详解
//将“input”指定为以“INPUT_STREAM”命名的AXI4 Stream格式 #pragma HLS RESOURCE variable=input core=AXIS metadata="-bus_bundle INPUT_STREAM" //将控制接口分配到AXI4-Lite接口 #pragma HLS RESOURCE variable=return core=AXI_SLAVE metadata="-bus_bundle CONTROL_BUS" //指定“row”（像素行数，即图片宽度尺寸）可通过AXI4-Lite接口进行访问 #pragma HLS RESOURCE variable=rows core=AXI_SLAVE metadata="-bus_bundle CONTROL_BUS" //声明在函数执行过程中“row”参数不会改变 #pragma HLS INTERFACE ap_stable port=rows //启用流媒体数据流优化 #pragma HLS dataflow
2.2 以快速角点算法为例演示HLS数据流的处理特性
下图中的代码不是以数据流的形式编写的，因为以数据流的形式不能直接用std::vector以及cvRectangle等方法，也是不能画矩形框的。 
3 延迟处理
src1对快速角点算法检测位置对应矩形框的绘制的数据流，要与算法检测位置的数据流延迟相匹配，这也是#pragma中设置“depth=20000”的理由：
ug902-vivado-high-level-synthesis文档地址：
