Cerebras Inference 推出 Multi-LoRA 私有预览
Cerebras Inference 发布Multi-LoRA私有预览,允许在一个基础模型旁部署多个 LoRA 适配器,按请求切换,无需重新加载或单独部署,延迟成本为零。目前面向专用端点用户开放。详情:https://x.com/cerebras/status/2059752901392859530[1]
本期内容较少,主要关注Cerebras推出的Multi-LoRA功能,可在推理时按请求切换适配器,无需重新加载。