Gpu利用率优化

科技人工智能

"榨"出硅的极限:AI企业如何提升GPU利用率

在芯片短缺的背景下,AI行业正将焦点转向充分挖掘现有GPU的潜力。卡内基梅隆大学研究发现,GPU整体上有近20%的执行时间和约11%的能耗被浪费在等待上,推理场景问题更为突出——Azure Code负载有65%能耗消耗在空转上,OpenAI Chat类请求达52%。一台NVIDIA GB200 NVL72机柜采购成本…