[Go 编程语言] Go 实现的模型推理和 API 部署框架

推销一下 🙂

https://github.com/jack139/go-infer

深度学习模型在部署时通常以云方式部署,通过 API 对外体提供推理服务。这个框架提供了部署 API 时的基本架构组件,实现了几个目标:

  • API 处理模块与模型推理模块解耦,降低高并发造成的网络和计算阻塞风险
  • API 处理模块与模型推理模块可进行分布式部署,均可实现横向扩展
  • 使用 Go 语言实现,提高执行效率,简化部署和运维
  • 业务逻辑使用 callback 方式调用,隐藏通用逻辑,开发时只需关注业务逻辑

其他功能:

  • 服务端配置使用 Yaml ,分布式部署时可进行针对性配置
  • API 验签支持 SHA256 和 SM2 算法
  • 模型示例

    • BERT 模型推理示例
    • CNN 模型推理示例
    • Tensorflow 模型权重转换示例
    • Keras 模型权重转换示例

发表评论

您的电子邮箱地址不会被公开。