Pytorch转onnx、torchscript方式
作者:血_影 时间:2022-05-03 11:10:43
前言
本文将介绍如何使用ONNX将PyTorch中训练好的模型(.pt、.pth)型转换为ONNX格式,然后将其加载到Caffe2中。需要安装好onnx和Caffe2。
PyTorch及ONNX环境准备
为了正常运行ONNX,我们需要安装最新的Pytorch,你可以选择源码安装:
git clone --recursive https://github.com/pytorch/pytorch
cd pytorch
mkdir build && cd build
sudo cmake .. -DPYTHON_INCLUDE_DIR=/usr/include/python3.6 -DUSE_MPI=OFF
make install
export PYTHONPATH=$PYTHONPATH:/opt/pytorch/build
其中 "/opt/pytorch/build"是前面build pytorch的目。
or conda安装
conda install pytorch torchvision -c pytorch
安装ONNX的库
conda install -c conda-forge onnx
onnx-caffe2 安装
pip3 install onnx-caffe2
Pytorch模型转onnx
在PyTorch中导出模型通过跟踪工作。要导出模型,请调用torch.onnx.export()函数。这将执行模型,记录运算符用于计算输出的轨迹。因为_export运行模型,我们需要提供输入张量x。
这个张量的值并不重要; 它可以是图像或随机张量,只要它是正确的大小。更多详细信息,请查看torch.onnx documentation文档。
# 输入模型
example = torch.randn(batch_size, 1, 224, 224, requires_grad=True)
# 导出模型
torch_out = torch_out = torch.onnx.export(model, # model being run
example, # model input (or a tuple for multiple inputs)
"peleeNet.onnx",
verbose=False, # store the trained parameter weights inside the model file
training=False,
do_constant_folding=True,
input_names=['input'],
output_names=['output'])
其中torch_out是执行模型后的输出,通常以忽略此输出。转换得到onnx后可以使用OpenCV的 cv::dnn::readNetFromONNX or cv::dnn::readNet进行模型加载推理了。
还可以进一步将onnx模型转换为ncnn进而部署到移动端。这就需要ncnn的onnx2ncnn工具了.
编译ncnn源码,生成 onnx2ncnn。
其中onnx转换模型时有一些冗余,可以使用用工具简化一些onnx模型。
pip3 install onnx-simplifier
简化onnx模型
python3 -m onnxsim pnet.onnx pnet-sim.onnx
转换成ncnn
onnx2ncnn pnet-sim.onnx pnet.param pnet.bin
ncnn 加载模型做推理
Pytorch模型转torch script
pytorch 加入libtorch前端处理,集体步骤为:
以mtcnn pnet为例
# convert pytorch model to torch script
# An example input you would normally provide to your model's forward() method.
example = torch.rand(1, 3, 12, 12).to(device)
# Use torch.jit.trace to generate a torch.jit.ScriptModule via tracing.
traced_script_module = torch.jit.trace(pnet, example)
# Save traced model
traced_script_module.save("pnet_model_final.pth")
C++调用如下所示:
#include <torch/script.h> // One-stop header.
#include <iostream>
#include <memory>
int main(int argc, const char* argv[])
{
if (argc != 2)
{
std::cerr << "usage: example-app <path-to-exported-script-module>\n";
return -1;
}
// Deserialize the ScriptModule from a file using torch::jit::load().
std::shared_ptr<torch::jit::script::Module> module = torch::jit::load(argv[1]);
assert(module != nullptr);
std::cout << "ok\n";
}
来源:https://blog.csdn.net/xxboy61/article/details/97612860
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Linux删除系统自带版本Python过程详解
SQL指令植入式攻击的危害及其防范措施
python 读写、创建 文件的方法(必看)
利用OpenCV实现YOLO对象检测方法详解
![](https://img.aspxhome.com/file/2023/0/79730_0s.png)
python语言使用技巧分享
![](https://img.aspxhome.com/file/2023/1/101501_0s.png)
python 偷懒技巧——使用 keyboard 录制键盘事件
![](https://img.aspxhome.com/file/2023/9/105339_0s.png)
解决python3.5 正常安装 却不能直接使用Tkinter包的问题
详解Python yaml模块
python在linux环境下安装skimage的示例代码
Python绘制计算机CPU占有率变化的折线图
![](https://img.aspxhome.com/file/2023/2/93622_0s.jpg)
PHP mysql_result()函数使用方法
Python requests用法和django后台处理详解
用javascript来实现仿gogle动画导航
![](https://img.aspxhome.com/file/UploadPic/200711/30/20071130141752445s.gif)
Python必备技能之debug调试教程详解
![](https://img.aspxhome.com/file/2023/0/68380_0s.png)
pymssql ntext字段调用问题解决方法
Python函数定义及传参方式详解(4种)
Python DPED机器学习之实现照片美化
![](https://img.aspxhome.com/file/2023/5/86315_0s.jpg)
QQ连连看 for iPhone 设计实录分享
![](https://img.aspxhome.com/file/UploadPic/20109/25/qqllk-iphone-01-97s.jpg)