如何在不同任务之间合理分配模型,兼顾效果、成本与稳定性,逐渐成为模型工程中的一项基础能力。为了解决这一问题,UCloud AstraFlow星图平台上线Auto Router自动路由功能,旨在帮助开发者在保持统一调用方式的同时,实现模型的智能调度。
点击进入:UCloud AstraFlow星图平台

1、根据任务特征,自动选择合适模型
使用方式非常简单,只需将请求中的model参数设置为auto。收到请求后,Auto Router会综合分析多个维度的信息,包括任务类型、Prompt复杂度、上下文长度、模型能力特点以及成本偏好等,在毫秒级完成模型选择,并将请求路由至当前更适合执行该任务的模型。
对于业务代码而言,调用方式保持不变;模型的选择与调度则由平台自动完成。
2、在效果与成本之间取得更优平衡
在复杂软件工程评测集SWE Bench Pro上,Auto Router的测试结果如下:

从测试结果可以看到,相比固定使用单一模型,Auto Router在保持甚至提升任务效果的同时,整体调用成本下降约50%。
其核心原因在于,系统能够根据任务复杂度进行自动分配:对于大量长文本、常规分析等任务,优先选择性价比较高的模型;而对于推理要求较高的复杂任务,则自动调用能力更强的模型,从而实现资源的合理利用。
3、降低模型管理成本
除了优化推理成本,Auto Router也降低了模型迭代带来的维护压力。
对业务团队:
- 无需持续关注不同模型的能力变化和价格调整;
- 平台新增模型或升级模型能力后,业务代码无需修改即可获得最新能力;
- 降低模型切换带来的开发与维护成本。
对研发团队:
- 兼容OpenAI API,无需改变现有调用方式;
- 返回结果中的model字段会记录本次实际调用的模型,方便日志分析、成本统计及效果评估;
- 支持通过allowed_models参数限制可参与路由的模型范围,满足不同业务场景下的合规、灰度发布及预算管理需求。
如何快速接入
只需将请求中的model参数修改为auto:
{"model": "auto","messages": [{"role": "user","content": "请分析这段代码中潜在的并发安全问题。"}]}
接入完成后,Auto Router将根据任务特点自动完成模型选择与调度,在保持统一接口的同时,帮助开发者兼顾模型效果、调用成本和工程维护效率。










































