 |
liuxu🏢 个人开发者 V2EX member #62234, joined on 2014-05-09 03:02:29 +08:00Today's activity rank 8881 |
 |
Per liuxu's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
liuxu's recent replies
1h 4m ago Replied to a topic by AlexaZhou › Claude › 分享下轻量好用的模型网关 GT AI Gateway 新版本，增加了多上游负载均衡和自动故障切换 |
@AlexaZhou 还有个很核心的需求，有很多上游的时候，上游的 response 返回时间不一，质量参差不齐，高峰和闲时返回速度也不一样，现在一直等着第一个超时，太占用总时间了
能不能自行设置一个并行数发送上游，优先返回第一个，同时前 20%放到 memory 中的 lru （或其他内存模型），下次优先选它们+一点探测不断更新 lru ，这样既可以保证亲合度稳定被 lru 优先返回，同时还能提供模型首 token 速度
能不能自行设置一个并行数发送上游，优先返回第一个，同时前 20%放到 memory 中的 lru （或其他内存模型），下次优先选它们+一点探测不断更新 lru ，这样既可以保证亲合度稳定被 lru 优先返回，同时还能提供模型首 token 速度
5h 47m ago Replied to a topic by AlexaZhou › Claude › 分享下轻量好用的模型网关 GT AI Gateway 新版本，增加了多上游负载均衡和自动故障切换 |
prompt_cache_key 是什么特性，模型选择“首选可用”，配置了 1 个账号，有多个上游，现在一直命中第一个，即使第一个返回错误，也没有切到第二个上游。用 docker 部署的 latest
这是上游的 response：
{
"type": "response.failed",
"response": {
"id": "resp_05213572943d5c61016aa794c408a887d0b53591e0b90bc990",
"object": "response",
"created_at": 1789367492,
"status": "failed",
"background": false,
"completed_at": null,
"error": {
"code": "server_error",
"message": "Our servers are currently overloaded. Please try again later."
},
"frequency_penalty": 0,
"max_tool_calls": null,
"model": "gpt-5.6-terra",
"moderation": null,
"presence_penalty": 0,
"previous_response_id": null,
"prompt_cache_key": "3ac9a2e42f9ce975",
"prompt_cache_retention": "24h",
"safety_identifier": "user-FUNwHz0HFakp",
"service_tier": "default",
"store": false,
"temperature": 1,
"tool_usage": {
"image_gen": {
"input_tokens": 0,
"input_tokens_details": {
"image_tokens": 0,
"text_tokens": 0
},
"output_tokens": 0,
"output_tokens_details": {
"image_tokens": 0,
"text_tokens": 0
},
"total_tokens": 0
},
"web_search": {
"num_requests": 0
}
},
"top_logprobs": 0,
"top_p": 0.98,
"user": null
},
"sequence_number": 4
}
这是上游的 response：
{
"type": "response.failed",
"response": {
"id": "resp_05213572943d5c61016aa794c408a887d0b53591e0b90bc990",
"object": "response",
"created_at": 1789367492,
"status": "failed",
"background": false,
"completed_at": null,
"error": {
"code": "server_error",
"message": "Our servers are currently overloaded. Please try again later."
},
"frequency_penalty": 0,
"max_tool_calls": null,
"model": "gpt-5.6-terra",
"moderation": null,
"presence_penalty": 0,
"previous_response_id": null,
"prompt_cache_key": "3ac9a2e42f9ce975",
"prompt_cache_retention": "24h",
"safety_identifier": "user-FUNwHz0HFakp",
"service_tier": "default",
"store": false,
"temperature": 1,
"tool_usage": {
"image_gen": {
"input_tokens": 0,
"input_tokens_details": {
"image_tokens": 0,
"text_tokens": 0
},
"output_tokens": 0,
"output_tokens_details": {
"image_tokens": 0,
"text_tokens": 0
},
"total_tokens": 0
},
"web_search": {
"num_requests": 0
}
},
"top_logprobs": 0,
"top_p": 0.98,
"user": null
},
"sequence_number": 4
}
11h 39m ago Replied to a topic by AlexaZhou › Claude › 分享下轻量好用的模型网关 GT AI Gateway 新版本，增加了多上游负载均衡和自动故障切换 |
好东西，已 star
3 days ago Replied to a topic by arrayxiangxiang › 程序员 › 大 token 用户一般除了砸钱，还能咋办，存粹个人用 |
你建的这个中转站上游上自建号池吗
6 days ago Replied to a topic by at5pm › 推广 › [YAN+] 新站上线内测，注册用户每人送 10 刀（暂不支持充值，赠送额度用完可以找群主再要），支持 gpt-6-astra， GPT 最低 0.1×， DeepSeek V4 0.25×， GLM-5.3-Flash 0.25× |
id: 373 谢谢老板
6 days ago Replied to a topic by shanghui › 程序员 › gpt pro 20x 找个车队 希望没有日限额 |
这种峰值类需求得上中转站
6 days ago Replied to a topic by lxxzml › 程序员 › gpt pro 20x 4 人车 缺 2 人上车 |
是￥ 300 人每月，$550 每周吗
9 days ago Replied to a topic by starto › 程序员 › 不用中转站， Codex 除了可以用 DeepSeek 还能用啥第三方模型？ |
都能用，映射一个 codex-auto-review 就可以了，我本地 qwen 3.8 27b 都可以用
9 days ago Replied to a topic by selfly › 程序员 › 各位老哥都在用哪个中转站 |
https://models.openai-help.com/ 还可以，用了一个多月 gpt-5.6-terra ，6 亿 token 才花了 120 多，首字基本 5 秒以内，codex 干活效率挺好的
Select Language