赛派号

翡翠与玛瑙的区别 LMDeploy 推理

推理服务#

LMDeploy api_server 支持把模型一键封装为服务,对外提供的 RESTful API 兼容 openai 的接口。以下为服务启动的示例:

lmdeploy serve api_server internlm/internlm2_5-7b-chat

服务默认端口是23333。在 server 启动后,你可以在终端通过api_client与server进行对话,体验对话效果:

lmdeploy serve api_client http://0.0.0.0:23333

此外,你还可以通过 Swagger UI http://0.0.0.0:23333 在线阅读和试用 api_server 的各接口,也可直接查阅文档,了解各接口的定义和使用方法。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至lsinopec@gmail.com举报,一经查实,本站将立刻删除。

上一篇 没有了

下一篇没有了