今年GTC大会上,英伟达推出了地表最强Blackwell计算平台、NIM推理微服务、Omniverse Cloud API等惊喜新品。
其中Blackwell GPU具有2080亿个晶体管,AI算力直接暴涨30倍。单芯片训练性能(FP8)是Hopper架构的2.5 倍,推理性能(FP4)是Hopper架构的5倍。具有第5代NVLink互连,并且可扩展至576个GPU。
而GB200超级芯片通过 900GB/s 超低功耗的 NVLink 芯片间互连,把两个B200连接到Grace CPU。GB200与NVLink Switch新芯片又共同构成了包含60万个零件,重3000磅的巨型算力怪兽NVIDIA GB200 NVL72。再次让人感叹英伟达简直不给同行留活路。
3月19日,CEO黄仁勋在大会现场召开见面会,亲自回答了24个最受外界关注的灵魂问题。
期间,他发表了对中国市场管制、TikTok禁令、Blackwell市场定价、英伟达数据中心策略、Sam Altman进军芯片产业等话题的个人观点,还表示和Groq不熟。描述了生成式未来的数据中心场景,也针对此前关于编程和AGI的评论进行了进一步解释。也评价了与台积电、三星等公司的合作伙伴关系、及对以色列、日本、印度市场的看法。
黄仁勋坦言,“世界供应链是复杂的,大型系统有很多部件来自中国。英伟达销往中国的任何产品都是合规的。”
提问开始前他再次强调, “未来我们会迎来一个生成式AI世界,人类所有体验都将被生成。数据中心就是这个世界的AI工厂。英伟达拥有做到这一切的技术、工具和基础设施。”
以下是硅星人现场整理的黄仁勋问答全文:
问:今天展示的新技术和产品有多少会销往中国,或者是专为中国市场的存货量?
黄仁勋:我刚刚宣布了Blackwell!让我们把今天的重点放在这个。英伟达销往中国的任何产品都将是合规的。对于中国市场,我们有L20和H20,我们正在尽力为中国市场优化,服务于那里的客户。
问:你谈到过NVIDIA AI Foundry与企业合作。这的策略和长期目标是什么?
黄仁勋:我们的Foundry目标是构建软件。英伟达是一家软件公司。我们制作了OptiX,后来成为RTX。再后来是CUDA和cuDNN用于人工智能。未来的库将是一种微服务——不仅仅是数学库,还包括人工智能库。这些库,我们称之为cuFFT、cuBLAS、cuLitho,将来则会是NIM(新一代微服务)。
它们是复杂的软件,我们对它们进行打包,这样你就可以访问网站下载,或将其部署到云端,或在计算机和工作站上运行。我们将使NIM高效运行,这是使用NVIDIA的一种新方式。当企业使用这些库时,定制操作系统会处理许可,对每个GPU的授权年费为4500美元,你可以运行尽可能多数量的模型。
问:你之前曾提到每台Blackwell的定价在3-4万美元左右,具体定价范围是多少?另外,总可预测市场是2500亿美元,你们要争取这个市场的多大份额?
黄仁勋:我当时只是想给产品定价一个感性认知,并不是想给出准确报价——我们不销售芯片,而是销售系统。不同系统的定价是不同的。这不仅仅是Blackwell,整个系统还包括NVLink等。我们会针对每种系统给出相应定价,定价是基于整体成本。
英伟达的业务不是卖芯片,而是构建整个数据中心。显然这不只是一颗芯片,而是一个系统、软件,我们对其优化使之高效运行,并且完成整个数据中心的工作。我们自己就有好几个数据中心。然后我们将其分解为板卡,以便客户可以选择如何配置、购买多少、网络不同、安全需求不同、管理需求不同、存储需求不同等。我们有专门的团队帮助客户将系统集成到自己的环境中。所以我们并不销售芯片,而是将系统集成到数据中心,我们的商业模式正是反映了这一点。
英伟达的机会不是GPU市场的机会,而是数据中心的机会。GPU市场与英伟达所追求的数据中心市场是完全不同的。它正在迅速转向数据中心和生成式AI。随着人工智能取得成功,这个机会也越来越大。我们可以占这个2500亿美元市场的一定比例。2500亿美元只是去年的数字,年复合增长率为20-25%。所以从长期来看,这个机会可能达到1万亿至2万亿美元或更多,具体取决于时间范围。
问:Sam Altman正在谈论涉足芯片,扩大他在芯片领域的范围和规模。你与他交流过吗,对此有何看法?这会如何影响英伟达?
黄仁勋:我不了解他的具体意图。但他认为生成式人工智能是一个巨大的机遇,我也完全同意这一点。从原理来看,计算机生成像素、检索、解压缩并显示,这个过程人们通常认为需要很少的能耗。之所以能耗很低,是因为可以访问数据中心资源,像素是从推荐系统的角度构建而来,而不用每次提问我都要跑到办公室查找资料。
所以未来的答案和计算都将是生成式的,而不是检索式的。它们必须足够智能,并根据上下文生成相关内容。我相信,正如Sam所认为的那样,未来所有像素都需要生成。如今承担这一任务的芯片正是英伟达的芯片。Blackwell及其未来的后续产品,都是构建这个生成式未来的组成部分。
问:我同意你对软件工厂、数据中心的看法。我们的生活正在随着大型语言模型和基础模型的变化而变化。你认为未来会是什么样的?
黄仁勋:问题是我们将如何拥有自己的个人LLM。我们可以通过几种方式做到这一点。最初,你必须要进行微调或持续使用才能做到这一点。实际上微调是一个相当耗时的操作。然后我们发现了提示调整,再后来我们发现了大背景窗口和工作记忆。我认为未来会是所有这些的结合。你不需要微调所有,只需像LORA那样调整一层。低成本的微调、提示工程、上下文——所有这些结合在一起就成了你的定制大型语言模型。它可以是在云端,也可以是在你本地的电脑。
问:一些人工智能芯片初创公司,比如Groq,在推特上声称他们的芯片速度更快。你对此有何评论?
黄仁勋:关于那些公司我了解不多,很难做出明智的评论。生成令牌是一个艰难的问题,取决于用于生成令牌的模型,每个模型都需要特殊的分区方式。成为一个”transformer”并不是针对所有模型的最终解决方案,每个人的transformer有一些相关性,但它们都有很大不同。有些是前馈或混合专家模型(MoE),其中有些MoE有2个专家模型,有些有4个,划分工作的方式也不尽相同。每个模型都需要特殊的优化。
如果计算机过于笨重、设计过于具体,它就会变成一台需要配置的计算机,而不是可编程的计算机。这样就无法从软件创新的快速发展中获益。CPU之所以能被称为奇迹,主要原因是它最终克服了这些可配置的局限性,实现了可编程能力,程序员的天赋得以通过CPU充分体现。英伟达找到了一种方式,一种特殊的计算形式,采用并行流计算模型、具有延迟容忍度等。它不仅高效、而且高度可编程。
自AlexNet以来,一种架构一直存在,贯穿了所有模型。模型在状态空间、内存、架构等方面都在不断进化。使一个模型表现出色非常重要,但人工智能不只是一个芯片问题,更是一个软件问题。我们的工作是为下一个ChatGPT般的系统提供便利。如果它是基于Llama-7B的,那对我来说将是一个巨大的震惊。
问:关于最近的评论,你是否暗示人们不应该学习编程?
黄仁勋:我认为人们需要学习很多技能,钢琴、小提琴等艺术都很难掌握。不论是数学、微积分还是差分方程,人们都应该尽可能多地学习各种技能。
我更多是在说,未来要获得成功,并不一定需要复杂的编程技能。工作岗位并不要求你掌握C++,而是要计算机能够使C++变得实用。人工智能已经为社会做出了有史以来最大的贡献,让你并不需要成为C++工程师就能在这一领域发挥作用,你只需要成为一名提示工程师就行了。
比如,我们人类通过交谈来互动,这就属于提示工程!我们需要学习如何给人工智能下达提示,就像在运动中给队友下达指令以获得所需结果一样。根据回答和交流对象的不同,你会给出不同的提示,或使用多层次提示,这是为了弥合技术鸿沟。如果有人想学习编程,就去学,我们正在招聘程序员!
问:对于英伟达而言,这次新发布带来的增长机遇是什么,是微服务吗?
黄仁勋:我们最近期的机遇是两种数据中心计算。这是关于在数据中心现代化计算、以及数据中心的新提示生成能力。同时,我们也希望帮助客户搭建人工智能系统。像Llama、Mixtral、Grok等,现在已经有很多人工智能系统,但使用都很困难。我们将创建其中的一些系统,与部分结成合作伙伴,并将一些流行的开源模型转化为可用于生产的高质量模型。
不仅是它们本身性能,我们会对其进行优化、设置防护机制、加强安全性等。我们还必须围绕它们服务,比如NeMo。我们不只是要发明人工智能,还要在软件层面”制造”人工智能,这样所有人都能使用它们。现在英伟达的软件业务年收入已达10亿美元,制造人工智能系统将成为一项全新的业务。
问:我担心技术鸿沟正在扩大。专家们可能并不完全了解人工智能将给他们的企业带来何种冲击和干扰。对于那些了解自己工作,但不知道这将如何改变的人,特别是在以色列,您有何建议?
黄仁勋:我在以色列有3300名员工,在西岸有100名雇主,在加沙也有员工。我向所有人表示慰问,首要任务是确保安全。
在GTC上有广泛的公司参与:医疗保健、金融、消费品、自动化、广告、汽车、物流等公司。我相当确信他们之所以来这里,是因为人工智能。大多数行业并非将计算视为头等大事,计算对他们而言是第二位的,他们的专业领域才是第一位。我们正努力弥合这一鸿沟,例如在医疗保健领域,利用人工智能和计算技术对行业产生的影响空前巨大。现有证据表明,所有行业都认识到了人工智能,他们有能力从中获益。
问:在仿真中应用生成性AI确实可行,但还有很多事物我们无法很好地模拟。在机器人模拟训练中存在什么限制?当我们遇到这些限制时该怎么办?
黄仁勋:关于这个问题有几种不同的思考方式——首先框定你对大型语言模型的思考。记住,大型语言模型是在一个非结构化的世界中运行。这个非结构化的世界可能是个问题,但它可以从中学到很多东西。它的泛化能力就是魔法,然后通过迭代或提示来采用上下文窗口。
比如你在厨房里,要做一顿煎蛋。你指定问题、上下文、你使用的工具。你为机器人描述上下文——机器人应该能够有效地泛化,这就是机器人的ChatGPT时刻。虽然还有一些问题有待解决,但你可以看到这种外推能力。机器人生成的是令牌,这些令牌用于移动和决策。但对软件来说它们仍然只是令牌而已。
将所有输出符号化,概括环境,让输入有上下文,并通过强化学习和合适的答复将其实例化。这种方法可应用于哲学、化学、医疗健康等领域。其中一些可以用几页文字来描述,但你可能需要为LLM提供10000多个例子才能成为一个GPT。因此对于机器人,也可以采用同样的方法:提供大量例证。我们之所以无法建立这种联系,是因为我们无法将工作产出与符号输出分离开来,对计算机来说,它们只是数字而已。
问:在关键任务环境中的AI幻觉问题——它必须是100%正确的吗?
黄仁勋:幻觉问题是可以解决的。单凭自身或许难以做到,但对于每个回答,你都必须查阅并返回答案,这就是RAG(检索增强生成)。不是凭空编造答案,而是在查询后先做搜索,然后AI读取搜索结果不加修改地返回答案。它会优先选取最准确回答问题的内容,再将其描述出来反馈给你。
如果这个AI系统负责重要任务,它不会直接回答,而是先做研究,确定哪个答案最佳,再进行总结。这就不是幻觉了,而是一个研究助理。具体要采取哪些措施也取决于任务的重要性,你可能需要设置更多的防护或更精心的提示工程。
问:在构建像Blackwell这样的平台时,你们如何估计客户的计算需求?还是只简单地增加计算量——你如何看待功率消耗以及效率和可持续性?
黄仁勋:我们必须弄清楚物理极限,将其推向这些极限,同时也要超越它们。如何超越,就是通过效率来实现。首先让事情变得更加节能。例如,你可以用1/4的功率来训练一个GPT。在我们的例子中,使用Hopper需要8000个GPU,而Blackwell只需要2000个GPU。因为我们效率更高,所以我们可以推动极限。能源效率和成本效率是首要任务,而我们节省了大量能源——Blackwell产生相同令牌的能源消耗减少了30倍。
问:你说过很多行业都将迎来ChatGPT时刻,你能挑一个令你兴奋的讲讲吗?
黄仁勋:有些是因为技术原因让我兴奋,有些因为首次接触,还有些因为影响力。OpenAI所做的SORA非常了不起,我们去年也看到了Wave的相似情况。模型必须知道物理规律,所以当你放下杯子时,它应该在桌子表面,而不是桌子里面,它需要有感知力。它也许不必遵守物理定律,但必须是合理的。
其次,我们与Earth2 CoreDiff合作所做的工作是对2-3公里范围的天气进行预测,它也影响力巨大。这让我们能够预测极端天气对社区的影响。我们使其能效提高了3000倍,在此过程中,速度也提高了1000倍。我们可以预测极端天气的飞行路径。原本这是混沌的,但通过更频繁地对其进行采样得到了改进,且影响深远。
第三,分子生成方面,这个具有极其理想的属性,针对目标蛋白质的可药用分子。我们可以将其放入像AlphaGo与蛋白质相互作用的强化循环中,我们可以探索巨大的空间,这也非常有影响力。
问:继续深入你对药物发现、蛋白质结构预测、分子设计的看法,这将如何影响其他领域?
黄仁勋:我们可能是世界上最大的量子计算机公司,尽管我们没有建造量子计算机。我们相信量子计算的力量,但对我们来说不必要再建一个。量子处理单元(QPU)就像图形处理单元(GPU)一样,是一种用于非常具体事物的加速器。它并非适用于所有情况,但它与传统计算机相连。
我们创造了cuQuantum,用以模拟量子计算机,最高可达34-36量子比特,人们使用它来模拟量子电路。我们能够进行后量子密码学工作,为世界的量子时代做好准备,并确保数据已经被编码。我们一直相信自己可以对所有领域做出贡献,只是在为突破性进展做出贡献之前还需要一些时间。
对数字生物学而言,它的敏感性来自于NIM。BioNeMo是我们的第一个NIM。这些模型非常复杂,因此我们考虑以一种特殊的方式打包它们,BioNeMo正被广泛使用。你发送一个化学蛋白质对,它会告诉你结合能量是否有效。或者发送一个化学物质,请求它创造其他化学物质。
问:国会对Tiktok的禁令、对中国的禁令,将如何影响制造和销售系统和你们今后的发展?
黄仁勋:今天有两件事。一是确保我们理解政策并确保合规,二是在供应链中创造韧性。HGX由35000部件组成,其中8部件来自台积电(TSMC)。大型系统有很多部件来自中国,这是事实。对许多行业都是如此,包括国防,世界的供应链是复杂的。但我非常有信心,因为国家的目标不是对抗性的。的确是需要公平解决,但末日情景不太可能发生,至少我希望那不会发生。我们能做的就是韧性和合规,让其他人做好他们的工作。
问:过去两年中,NVIDIA与台积电在芯片/封装和Blackwell/双芯片上,有着怎样的关系?
黄仁勋:台积电的合作关系是我们在行业中最紧密的合作之一。我们所做的事情非常艰难,他们做得非常出色。我们得到了计算芯片、CPU芯片、GPU芯片、CoWoS基板。内存来自美光、SK海力士、三星,并在台湾组装。供应链不简单,它需要大公司的协调,他们代表我们这样做了。公司间的协作非常好,你组装它们,另一家公司测试它,然后另一家公司构建系统。你需要一个超级计算机来测试超级计算机!制造车间就是一个巨大的数据中心,链条中的复杂性非常高。
Blackwell是一项奇迹,但我们必须在系统层面使其成为可能。人们问我是否制造GPU,就像SoC一样,但我脑海中想到的是机架、电缆和交换机,这就是我心目中的GPU。对我们来说,台积电至关重要。
问:英伟达正在转向云业务,而其他云服务提供商正在制造芯片,他们制造芯片的事实会影响定价吗?你在中国的云战略是什么,以及针对中国的解决方案是什么?
黄仁勋:我们构建HGX,然后卖给Dell。Dell将其装入电脑,然后再销售。我们创建软件和市场需求来帮助销售这些电脑。我们帮助创造需求,因此必须对云服务做同样的事情。我们与CSP合作,将NV Cloud集成到他们的云服务中。我们不是一家云公司,但我们在他们的云中。我们的目标与Dell相同,目标是将客户带到云端。我们向CSP销售DGX Cloud,这与向Dell销售的理念相同。
我们帮助开发者,为CSP创造需求,这与任何人的芯片无关。英伟达是一家计算平台公司,我们必须培养我们自己的开发者,这就是为什么存在GTC。我们的角色仍在发展中,DRAM、以太网不需要开发者大会,而我们需要,因为我们需要开发者。
问:你之前提到AGI将在5年内到来,这个时间框架还有效吗,你会害怕AGI吗?
黄仁勋:首先,定义一下AGI。我之所以暂停,是因为每个人都很难定义它。你能具体定义它吗,以便在这里的每个人都知道我们何时到达了哪个阶段?比如定义圣克拉拉的位置,它的地理位置是具体的。定义新年,我们所有人都知道。但AGI就有点不同了。
然而,如果我们将AGI具体化为某些特定的东西,一大套测试——数学测试,阅读测试,逻辑测试,学术考试,经济测试——如果我进行一系列测试,并且说AGI是指这套测试中,一个软件程序能做得非常好,好过多数人、甚至所有人。计算机在5年内能做到吗,答案可能是肯定的。人们经常忘记我说的这种具体性,但就广义AGI来说,我不知道我们何时达到那个程度。这就是为什么我们有不同的词汇来描述智能。
问:你说电脑游戏是原创性内容的生成器,并表示希望每一个像素都是生成的。你对游戏/非游戏的愿景是什么?
黄仁勋:在技术领域,S曲线的长度不会超过技术本身。一旦变得实用,比如ChatGPT,它不超过10年。当你处于中间阶段的5年里,一切都在实时发生着,你必须看进展到了哪一步。我们在游戏上可能处于2年的阶段,接下来的5-10年内大概会实现。
问:上个季度财务公告后,日经指数创下新高。你与日本首相会面并讨论了日本的AI问题。在扩大日本的AI应用或日本市场的展望方面有什么进展吗?
黄仁勋:日本高度认识到提高生产力的重要性。我们都知道,当一家公司变得更有生产力,收益提高时,我们会雇佣更多人。当经济变得更有生产力时,经济增长,生活质量提高。日本就像许多公司、许多国家一样,需要提高生产力。AI是实现这一目标的最佳方式。日本理解这一点,也明白数据、语言、文化都是非常特定的,没有理由让第三方收集、创建AI,然后再导入。所以日本理解自己建设的必要性,这既是出于主权原因,也是出于生产力原因。日本目前的活力非常惊人,他们都非常振奋。
问:你提到了对以色列员工前所未有的支持。投资者有没有任何反弹,英伟达计划扩大在以色列的足迹吗?
黄仁勋:以色列是英伟达最大的家园之一。是我们一些最有才华的工程师、一些最重要的投资的所在地,NVLink的交换技术就来自以色列。我们将继续投资,这对我们很重要。我们也在西岸招聘,支持那里的员工,支持他们的家庭,我们不会离开西岸。员工需要知道公司支持他们做出伟大的工作,我们有坚实的基础和明确的支持。他们确信我们会在以色列投资,我们100%支持他们。
问:印度政府承诺采购1万块GPU,英伟达是否参与其中?
黄仁勋:如果印度正在购买GPU,那么您应该知道,我们生产的GPU非常出色!请传达这个信息。我们非常感兴趣。如果有人想购买,我随时准备开展业务。
AI是一个巨大的机遇。当我去印度时我经常见到莫迪。他说,印度不应该出口面粉然后进口面包,为什么要出口原材料然后进口价值?为什么要出口印度的数据然后进口AI?重要的是要本地化处理。印度拥有最大的IT专业人员群体,毫无疑问,他们正在为AI重新培训。而且不仅是后台的IT,他们成为前台的IT,在那里创造价值。市场营销、工程、销售、业务运营、战略,这一切都是前台工作,印度正走在AI的前沿。
问:对于台积电,今年和明年NVIDIA的供应和需求是怎样的?例如CoWoS的需求是去年的3倍。
黄仁勋:具体数字?那是一个非常有趣的问题。我们对CoWoS的需求非常高,明年会更高。AI的世界才刚刚开始——仅仅投入了1000亿美元,而前路漫长。我们非常有信心台积电将会获得业务增长。他们是一个优秀的合作伙伴,他们值得这样的增长。台积电技术非常棒,完美地定位于生成式AI。
问:对于三星、生产和SK海力士在HBM之外的看法是什么?
黄仁勋:这就像是问台积电除了代工之外的事情。你喜欢英伟达除了GPU之外的东西吗?HBM非常复杂,增值非常高。我们在HBM上投入了大量资金!我们正在认证三星的HBM——我们将使用它。
三星是一个伟大的合作伙伴。韩国生产全球最大量的高级内存。HBM非常复杂,它不像DDR5。它是技术上的奇迹。这就是为什么它如此快速。HBM像逻辑芯片,变得越来越复杂,越来越定制化。HBM是一项奇迹。因为生成式AI,整个数据中心——DDR是过去式,未来将是HBM。
三星和SK海力士的升级周期令人难以置信。我们的合作伙伴将与我们一同成长。我们将用HBM替代数据中心中的DDR。能效大大提高,这就是我们使世界更可持续的方式。更先进的内存,更快的速度,更低的功耗。我们的汽车行业正在与三星合作。
本文来源于公众号硅星人Pro ,作者张潇雪
发评论,每天都得现金奖励!超多礼品等你来拿
登录 后,在评论区留言并审核通过后,即可获得现金奖励,奖励规则可见: 查看奖励规则