英伟达H100 GPU交货周期大减,AI芯片市场格局或迎新变化

【HowToTech科技】2月27日消息,近日有报道称,英伟达针对人工智能(AI)和高性能计算(HPC)推出的H100
GPU交货周期出现显著缩短,由此前的8-11个月锐减至仅3-4个月。这一变化导致部分囤积该芯片的公司开始寻求出售其过剩的H100
80GB处理器,原因在于如今从亚马逊云服务、谷歌云及微软Azure等大型云服务提供商处租用芯片已变得更为便捷。

据HowToTech科技了解,The Information的一份报告指出,鉴于H100
GPU稀缺性的降低以及维护未使用库存所带来的高昂成本,部分公司开始转售其手中的H100 GPU或减少相关订单。这与去年众多企业争相抢购英伟达Hopper
GPU的情况形成了鲜明对比。尽管芯片的可用性有所提升且交货周期大幅缩短,但报告仍指出,AI芯片的需求依然旺盛,尤其是对于需要训练大型语言模型(LLM)的公司,如OpenAI等。

云服务提供商(CSP)如亚马逊AWS等提供的按需租用H100
GPU服务,在一定程度上缓解了需求压力,缩短了用户的等待时间。然而,由于训练大型语言模型需要大规模的GPU集群,这类公司仍面临着供应瓶颈的挑战,有时甚至需要等待数月才能获得所需的处理能力。因此,尽管交货周期缩短,但英伟达H100等处理器的市场价格并未出现明显下降,公司依然能够保持较高的利润率。

随着芯片供应瓶颈的逐步缓解,买家的行为也在发生变化。企业开始更加注重价格和采购/租赁的合理性,倾向于选择规模更小的GPU集群,并更加关注其业务的经济可行性。此外,随着替代方案(如AMD或AWS的处理器)在性能和软件支持方面的不断提升,以及企业在AI处理器支出方面的日益谨慎,AI领域有望迎来一个更加平衡的市场格局。

大鱼的头像

这个人很懒,什么都没有留下~

延伸阅读:

OpenAI 测试长输出版 GPT-4o:单次输出达64K tokens

【HowToTech科技】8月1日消息,OpenAI在7月29日透露,他们正在对一款名为GPT-4o Long Outp...

大鱼的头像
大鱼
2024 年 8 月 1 日
ISC.AI2024数字安全峰会:360、华为、微软等共话安全+AI新挑战

7月31日,ISC.AI 2024数字安全峰会在北京国家会中心顺利召开。峰会以“打造安全大模型,引领安全行业革命”为主题...

大鱼的头像
大鱼
2024 年 7 月 31 日
ISC.AI2024开幕 周鸿祎发布国内首个免费安全大模型

“把大模型拉下神坛就要把免费贯彻到底,今天我在行业里第一个宣布安全大模型免费。”7月31日,ISC.AI2024第十二届...

大鱼的头像
大鱼
2024 年 7 月 31 日
阿里通义免费开放奥运AI大模型

7月31日,阿里通义宣布免费开放奥运AI大模型,具备最强奥运专业知识,并集合同声传译级别的中法互译功能。即日起,用户可以...

大鱼的头像
大鱼
2024 年 7 月 31 日
实时对话更自然,OpenAI 向部分付费订阅用户开放 GPT-4o 语音模式

【HowToTech科技】7月31日消息,OpenAI于当地时间30日宣布,即日起GPT-4o的语音模式(注:Alpha...

大鱼的头像
大鱼
2024 年 7 月 31 日