目录
0.序言
近来这一个月基本没写过博客，由于仍然在猕猴桃派4B上布署yolov5的模型，早已数不清楚踩了多少坑了，来来回回折腾了一个月，总算完成了。于是写下这篇博客，一是记录下全部的流程，便捷之后其他项目借鉴；二是希望和我一样有类似需求的同事能少走些弯路。
在此之前，我想先把一些重要的东西说在上面：
1.在猕猴桃派上布署自己训练的yolov5模型，和在笔记本端运行pythondetect.py完完全全是两回事，差的不是一点半点。这篇博客中讲的布署须要依赖NCS2进行加速，是把.pt模型转换成.onnx模型，之后再通过openvino转换成IR中间模型（.xml模型储存网路拓扑结构，.bin模型储存权重偏置等），最后在NCS2上运行推理在树莓派linux系统下写c程序，并对结果进行处理。
假如如此说还是不直观的话，我举个反例：我从不晓得yolov5是哪些，到在笔记本上训练好自己的.pt模型总共花了一晚上。但是我把自己训练好的.pt模型成功布署到猕猴桃派上运行花了20多天。
不过别被吓到，我花了那么久是由于我踩了太多的坑，浪费了太多的时间。（但我一开始也确实不晓得该走哪条路，只能一条一条试啊md！！）虽然布署过程真的不麻烦，但须要内心平淡，不要狂躁。
2.假如你想在直接在猕猴桃派上安装pytorch之后和笔记本上一样运行.pt模型的话，我建议你不要走这条路了，由于我早已走过了：用最简单的yolov5s.pt模型跑分辨率大约0.3fps，这还是单线程情况下的，多线程就别提了，根本不可能满足实时推论。猕猴桃派4B的估算资源还是太弱了，所以才要用NCS2加速推理，加速后能到3fps，勉强能用。
在接着往下看之前，希望你对下边的概念有部份了解，或则有些印象。（一点都不了解的话建议百度学习一下再来看，了解下就行，磨刀不误砍柴工。）
1、知道yolov5，用它在笔记本上训练过自己的模型更好；
2、知道哪些是NCS2，晓得openvino；
3、知道.onnx模型，IR中间模型；
4、有猕猴桃派，且会基本的配置环境；
5、（可选）会使用GoogleCoaleb。
这篇博客更多的是对大体过程做梳理，并提及一些我遇见的坑。至于上面的细节，我会放些链接补充学linux有前途吗，其实自己遇见bug时还要自己百度处理。但我能保证整个过程没有问题。
1.我的环境
拿来训练yolov5模型的笔记本是win10系统，猕猴桃派4B的系统是：2020-06-23-raspbian-buster-full（搭建好基本环境）.img【32bit】
虽然我yolov5模型的训练（.pt模型）和转换（转换成.onnx模型）都是在GoogleColab上进行的。这是一个线上的IDE，帮你配置好了基本的环境，你可以直接用，虽然没有第三方库自己安装也很便捷，基本一条pip命令就行，不会出现本地配置环境时出现各类奇怪bug，大大节约时间。更NB的是它免费送你一块GPU，你可以直接拿来训练模型，速率挺快的。但也许你在本地训练和转换模型也没问题。
2.整个流程
首先展示下整个布署流程，对全局有个掌握，之后我再一步步具体说：
整个过程分为四大步：
本质来看，似乎就是：
（1）训练自己的模型(.pt/.tf_lite/.weights…)
（2）使用openvino转换成IR中间模型
（3）在猕猴桃派上下载openvino，使用IR模型执行推测
即，模型的训练和转换都是在本地进行，覆盆子派上只使用转换后的IR模型执行推算。
3.具体过程3.1训练自己的yolov5模型
这一步的目的是使用自己的数据集训练，得到满足自己实际需求的.pt模型。
网上的教程多又全，可以直接看官方教程：GtiHubyolov5官方，也可以参考下边两篇文档：
colab和win10系统下yolov5的安装及训练自己的训练集
labelImg标明数据集（yolov5篇）
这步较为简单，参考那些文档，遇见小问题在CSDN上都能解决。
3.2将.pt模型转换为.onnx模型
经过上一步我们早已得到了.pt模型，下边须要使用yolov5文件夹中自带的export.py文件将.pt转换为.onnx模型。（虽然最终是要得到IR中间模型，但openvino似乎不提供直接将.pt模型转换为IR模型的插口，所以只能先转为.onnx模型linux 软件，再转换成IR模型）
这儿我是参考官方提供的方式：官方方式
虽然就是一行代码：
python export.py --weights yolov5s.pt --img 640 --batch 1 # export at 640x640 with batch size 1
把yolov5s.pt换成我们上一步得到的.pt模型即可
NOTE：我在本地转换的时侯环境总是有问题，转换不了.onnx模型，最后还是去GoogleColab上转换的。其实本地转换绝对也是可以的，只是我懒得再去配环境了。
执行完就可以在export.py所在的文件夹下见到.onnx模型了。恭喜你已然走了一半了。
3.3在本地将.onnx转换成IR模型
这儿我们须要用到openvino工具包来帮忙转换，我们在本地主机和覆盆子派上都须要下载。本地主机上下载的比较大，由于须要进行模型转换，而蓝莓派上下载的很小也很便捷，由于只要进行模型的推理即可。openvino也支持猕猴桃派，所以有官方教程，我下载的是最新的openvino2021.4。
这儿还是建议参考官方文档，由于官方文档会有最新的更新，也十分全面：
本地主机（Win10）安装文档
其实CSDN上也有好多安装教程，不过可能不是最新版的。
安装好openvino后，就开始.onnx模型到IR中间模型的转换了：
（1）用管理员打开cmd
（2）cd到mo.py所在的目录：我的是在这里
cd D:OpenVinoIntelopenvino_2021.4.582deployment_toolsmodel_optimizer
（3）把之前转换得到的.onnx模型放在和mo.py同一文件夹下
（4）开始转换
python mo.py --input_model=.onnx --output_dir=Myonnx_IR --model_name= --scale=255 --data_type=FP16
有几点须要注意：
1、--input_model：这是你上一步转化得到的.onnx模型
2、–output_dir：转化后得到的IR模型储存的位置
3、–model_name：转化后得到模型的名子
4、–scale：这个参数一定一定要写，不然以后布署在猕猴桃派上会出现在NCS2上推理和CPU上推理结果相差好多的现象。我就是在这儿浪费了好多时间。
5、data_type：模型精度，覆盆子派NCS2支支持FP16，CPU推理支持FP32。
例如我的代码是：
python mo.py --input_model=Myonnx_IR/last.onnx --output_dir=Myonnx_IR --model_name=last.fp16.s255 --scale=255 --data_type=FP16
最终得到的结果为：
OK，到这一步我们早已得到了IR中间模型了：
.xml是我们模型的拓扑结构
.bin是模型的权重和偏置
.mapping应当是储存着一些映射信息（这个我没研究）
恭喜你已然完成了3/4，胜利在望！
3.4在猕猴桃派4B上使用IR模型推理
经过上一步我们早已得到了IR中间模型，最后我们就须要在猕猴桃派上使用IR模型推理了，首先我们须要在猕猴桃派上下载openvino和配置NCS2，这儿还是强烈建议看官方文档，十分简单在树莓派linux系统下写c程序，就几行命令。这儿我用下他人博客里的图，可以看下win10和覆盆子派上安装openvino的主要过程。
win10
猕猴桃派
