文章目录 FastChat介绍 支持的模型 安装环境 命令行方式加载本地模型 web服务方式运行本地模型 启动 the controller 启动 model worker(s) 启动 Gradio web server API-Based的模型支持 新模型的支持 参考资料 FastChat介绍 FastChat是一个用于培训、服务和评估基于大型语言模型的聊天机器人的开放平台。 FastChat的核心功能包括: 1、最先进模型(如Vicuna、MT Bench)的培训和评估代码。 2、一个分布式多模型服务系统,让大模型具有web UI和与OpenAI兼容的RESTful API。 <