UCloud AstraFlow星图Auto Router自动路由功能上线

如何在不同任务之间合理分配模型,兼顾效果、成本与稳定性,逐渐成为模型工程中的一项基础能力。为了解决这一问题,UCloud AstraFlow星图平台上线Auto Router自动路由功能,旨在帮助开发者在保持统一调用方式的同时,实现模型的智能调度。

点击进入:UCloud AstraFlow星图平台

UCloud

1、根据任务特征,自动选择合适模型

使用方式非常简单,只需将请求中的model参数设置为auto。收到请求后,Auto Router会综合分析多个维度的信息,包括任务类型、Prompt复杂度、上下文长度、模型能力特点以及成本偏好等,在毫秒级完成模型选择,并将请求路由至当前更适合执行该任务的模型。

对于业务代码而言,调用方式保持不变;模型的选择与调度则由平台自动完成。

2、在效果与成本之间取得更优平衡

在复杂软件工程评测集SWE Bench Pro上,Auto Router的测试结果如下:

UCloud

从测试结果可以看到,相比固定使用单一模型,Auto Router在保持甚至提升任务效果的同时,整体调用成本下降约50%。

其核心原因在于,系统能够根据任务复杂度进行自动分配:对于大量长文本、常规分析等任务,优先选择性价比较高的模型;而对于推理要求较高的复杂任务,则自动调用能力更强的模型,从而实现资源的合理利用。

3、降低模型管理成本

除了优化推理成本,Auto Router也降低了模型迭代带来的维护压力。

对业务团队:

  • 无需持续关注不同模型的能力变化和价格调整;
  • 平台新增模型或升级模型能力后,业务代码无需修改即可获得最新能力;
  • 降低模型切换带来的开发与维护成本。

对研发团队:

  • 兼容OpenAI API,无需改变现有调用方式;
  • 返回结果中的model字段会记录本次实际调用的模型,方便日志分析、成本统计及效果评估;
  • 支持通过allowed_models参数限制可参与路由的模型范围,满足不同业务场景下的合规、灰度发布及预算管理需求。

如何快速接入

只需将请求中的model参数修改为auto:

{  "model": "auto",  "messages": [    {      "role": "user",      "content": "请分析这段代码中潜在的并发安全问题。"    }  ]}

接入完成后,Auto Router将根据任务特点自动完成模型选择与调度,在保持统一接口的同时,帮助开发者兼顾模型效果、调用成本和工程维护效率。

服务商动态

宝塔面板正式发布11.8.1版本 支持自定义模型API

2026-7-8 15:06:25

产品方案

七牛云推出企业级AI Token套餐 Enterprise S方案低至2999元/月 灵活接入国产四大模型

2026-5-21 15:54:52

相关推荐