DEXUN GPU NEWS
GPU裸金属资讯
查看GPU裸金属资讯，掌握选型、配置和部署要点。
预处理集群与算力节点靠得太近，会带来哪些调度风险？
预处理集群靠近模型计算节点能缩短部分数据路径，但若共享网络、存储或调度资源，也可能造成资源争用、网络拥塞和任务相互拖慢。本文说明风险来源，并给出隔离、限流与验证部署方案。
阅读全文 →
多源语料预处理场景下，协同部署要留意的6个资源问题
多源语料预处理与模型推理共用资源时，瓶颈可能来自计算、内存、存储、网络、调度和故障恢复。本文按六类问题梳理部署检查方法，并给出可执行的资源核对步骤。
阅读全文 →
哪些团队适合在大模型微服务中采用路由和版本灰度？
适合采用路由和版本灰度的团队，通常需要同时管理多个模型版本或服务实例，并具备监控、评估和回滚能力。本文说明适用条件、实现差异、渐进发布步骤及常见风险。
阅读全文 →
仅凭GPU利用率触发扩容容易误判，推理服务应结合排队时延
GPU利用率只能说明设备忙碌程度，不能直接代表请求是否受阻。本文介绍如何结合排队时延、并发请求和吞吐量设置扩缩容条件，并给出观察窗口、冷却时间及扩容与缩容的差异。
阅读全文 →
推理服务扩缩容阈值怎么定，如何避免抖动与资源闲置？
阈值应从延迟目标和实测容量倒推，而不是只看 GPU 利用率。文章给出扩容、缩容、冷却与预热的设置步骤，并说明如何降低扩缩容抖动和资源闲置。
阅读全文 →
5类在线服务场景下，KV缓存容量规划该如何取舍
从交互聊天、长文档问答、代码助手、批量生成和智能体服务五类场景出发，说明KV缓存的估算方法、容量取舍与落地步骤，帮助在并发、时延和显存占用之间找到适合自身业务的配置。
阅读全文 →