gpt_server v0.6.0

gpt_server v0.6.0

What's Changed

1. 初步支持了 embedding 的 vllm 加速
2. 修复一些 bug
3. config.yaml 文件做了一些改动，请查看 https://github.com/shell-nlp/gpt_server/blob/main/gpt_server/script/config_example.yaml
4. 升级 lmdeploy==0.9.1 sglang[all]==0.4.10

gpt_server v0.5.0

gpt_server v0.5.0

What's Changed

1. 升级部分库的版本
2. 支持embedding-vl模型 #36
3. 支持文生图模型
4. 提高系统的吞吐量

gpt_server v0.4.2

gpt_server v0.4.2

What's Changed

1. 更新 lmdeploy==0.7.3 and vllm==0.8.4
2. 支持了 Spark-TTS 后端,支持流式输出 #30
3. 支持了SGLang推理后端
4. SGLang后端支持VL模型