STORY · 事件进行中

SGLang 推出 Weight Cache Daemon

1 个精选信源 · 1 篇报道持续 1最新动态 5小时前
最新进展

SGLang 推出 Weight Cache Daemon,实现亚秒级引擎重启

TIMELINE

报道时间线

1 条公开报道 · 官方一手 1 条 · 最新在前
  1. SGLang 推出 Weight Cache Daemon,实现亚秒级引擎重启
    LMSYS:Blog(Chatbot Arena 团队)官方一手精选

    SGLang 团队推出 Weight Cache Daemon,通过 CUDA IPC 零拷贝映射将模型权重加载从约 495 秒降至约 0.63 秒(约 785 倍加速),端到端启动时间减少 93.9%。该守护进程在 GPU 内存中持久化后量化权重,支持多实例共享和亚秒级主备切换,是 Fast Engine Recovery Framework 的第一阶段。