路由與降級

Link Astra 使用智能路由和自動降級機制,確保每個請求的高可用性和最優性能。

請求路由

基於區域的路由

所有請求使用單一端點 api.linkastra.ai。GeoDNS 會自動將每個請求路由到最近的區域:

  • 美洲用户 → 希尔斯伯勒基礎設施(最低延迟)
  • 其他國際用户 → 新加坡基礎設施

模型路由(Astra V1 Pro)

使用 fusion 模型時,請求會根據以下因素路由到最佳底層模型:

因素說明
任務復雜度简單 → Flash,復雜 → Pro
領域金融/能源 → Yantronic V1 Pro
語言中文 → GLM,英文/程式碼 → DeepSeek
当前負載跨模型均衡以提升吞吐量

自動降級

当主模型或基礎設施不可用時,Link Astra 會自動降級以维持服務:

模型降級

主模型 → 降級模型(同等能力等級)

例如,当 deepseek/deepseek-v4-pro 過載時:

  1. 請求路由到 deepseek/deepseek-v4-pro
  2. 若不可用,降級到 z-ai/glm-5.1(同等等級)
  3. 響應通過 model_routed 头返回實際使用的模型

基礎設施降級

主區域 → 備用區域

当希尔斯伯勒區域出現問題時:

  1. 發往 api.linkastra.ai 的請求會被代理到新加坡
  2. 延迟可能略有增加
  3. 服務保持可用

降級行為

場景行為對用户的影響
模型過載降級到同等模型极小——相同質量等級
模型下線降級到同等模型极小——響應包含實際使用的模型
區域性能下降跨區域代理延迟略有增加
完全中斷维护页面API 返回 503 並附带 retry-after 头

禁用降級

對於需要严格模型控制的應用,你可以禁用降級:

response = client.chat.completions.create(
    model="deepseek/deepseek-v4-pro",
    messages=[...],
    extra_body={"allow_fallback": False}
)

禁用降級後,不可用的模型將返回 503 Service Unavailable 錯誤,而不會路由到替代模型。

監控

  • 檢查響應头中的 model_routed,查看實際處理你請求的模型
  • 使用 服務状態 查看實時基礎設施健康度

相關文件