AI开源项目

nndeploy-支持多平台的高性能机器学习部署框架

nndeploy是一款最新上线的支持多平台、简单易用、高性能的机器学习部署框架,一套实现可在多端(云、边、端)完成模型的高性能部署。

标签:

nndeploy是一款最新上线的支持多平台、简单易用、高性能的机器学习部署框架,一套实现可在多端(云、边、端)完成模型的高性能部署。

nndeploy的特点:

  • 1. 支持多平台部署(云、边、端)
  • 2. 简单易用的用户体验
  • 3. 高性能的模型推理
  • 4. 集成六个业界知名的推理框架(TensorRT、OpenVINO、ONNXRuntime、MNN、TNN、NCNN)
  • 5. 支持轻松切换不同的推理后端
  • 6. 后续将接入更多推理框架(如tf-lite、paddle-lite、coreML、TVM、AITemplate)

nndeploy的功能:

  • 1. 通过统一接口部署模型至不同平台
  • 2. 使用一套代码切换不同推理后端进行推理
  • 3. 在云环境中部署机器学习模型
  • 4. 在边缘设备上运行实时推断
  • 5. 在个人计算机上测试和验证模型
  • 6. 跨平台进行模型管理和更新

相关导航

暂无评论

暂无评论...