修改:修改部
【新智元导读】AI的火爆使得英伟达的市值水涨船高,成功跻身万亿美元沙龙,作为公司的魂灵人物,黄仁勋一路走来阅历了哪些故事?这位皮衣客又是怎么一步步树立了他的显卡帝国?
从神经网络AlexNet、到ChatGPT,再到生成式AI的大迸发,英伟达的GPU功不可没。
在这场AI淘金热中,英伟达的市值水涨船高,成功进入万亿美元沙龙,成为全球第6大市值最高的公司。
若说英伟达的成功背面,必定离不开这位魂灵人物——黄仁勋。
人人皆知乔布斯、盖茨等科技伟人的故事,而一向不愿意出头露面的老黄,除了一身皮衣,更多的阅历鲜有人知。
这次,纽约客的最新采访深挖了老黄创业进程、办理方法、以及怎么带领英伟达走向成功的进程。
黄仁勋出生于1963年的台湾,九岁时,他和哥哥被送往美国,在肯塔基州的奥奈达浸信会学院( Oneida Baptist Institute, in Kentucky)学习。
黄仁勋和一个17岁的室友住在一同,他教室友识字,作为沟通,室友教他卧推。每天晚上睡觉前,黄仁勋都要做一百个俯卧撑。
由于年纪太小,黄仁勋不能在这所校园上课,所以他去了邻近的一所公立校园。
其时,校长向咱们介绍了这位身材矮小、藏着长发、操着浓重口音的亚洲移民。可是,也正由于这些特质,让黄仁勋饱尝同学的霸凌。
几年后,黄仁勋的爸爸妈妈获准进入美国,定居在俄勒冈州,兄弟俩与爸爸妈妈聚会。
黄仁勋高中时成果优异,是全国排名靠前的乒乓球运动员。他参加了校园的数学、核算机和科学沙龙,跳了两级,16岁就结业了。——可是他也表明「我没有女朋友。」
在入门课上,他的试验同伴是Lori Mills,仔细、呆萌、有着一头棕色卷发。
据黄仁勋回想,其时电子工程专业有250个学生,大约只要三个女生。男生们争相招引Mills的留意,黄仁勋觉得自己处于下风。「我是班里最年青的孩子,看上去只要12岁左右」。
——可是,每个周末,黄仁勋都会给Mills打电话,缠着她一同做作业。
「我想给她留下深刻印象,不是由于我的长相,而是由于我完结作业的才能很强。」
做了六个月的功课后,黄仁勋鼓起勇气约她出去。她承受了约请。
结业后,黄仁勋和Mills在硅谷找到了一份微芯片规划师的作业——「她实际上比我挣的多」。
后来两人成婚了,几年后,Mills离开了作业岗位,去抚育他们的孩子。那时,黄仁勋现已开端运营自己的部分,晚上则在斯坦福大学读研讨生。
1993年,他与Chris Malachowsky和Curtis Priem两位资深微芯片规划师一同创建了英伟达公司。
Malachowsky和Priem期望规划出一种图形芯片。开端他们给公司起名叫NVision,但后来得知这个姓名现已被一家卫生纸制造商运用。
黄仁勋主张运用英伟达,取自拉丁文i英伟达,意为「妒忌」。他挑选丹尼餐厅(Denny's)作为组织事务的场所,是由于这儿比家里安静,而且有廉价的咖啡。
他曾于1980年代在俄勒冈州的连锁餐厅作业过。「我发现,在窘境中我的思维最活泼。」
黄仁勋喜爱电子游戏,他以为商场需求更好的图形芯片。那时,艺术家们开端用被称为「基元」的形状来拼装三维多边形,而不是手艺制作像素,这样做省时省力,但需求新的芯片。
英伟达的竞争对手运用三角形作为基元,但黄仁勋和同伴决议改用四边形。——不过后来证明这是一个过错,差点毁了公司。由于在英伟达发布第一款产品后不久,微软宣告其图形软件将只支撑三角形。
由于资金短缺,黄仁勋决议回到传统的三角形办法。1996年,他裁掉了英伟达一百多名职工中的一半,然后把公司剩下的资金押在了未经测验的微芯片生产上,他不确定这些微芯片是否能成功。
——「成功和失利的概率五五开,但无论怎么咱们都要关闭了」。
当这款名为RIVA 128的产品上市时,英伟达的资金仅够付出一个月的薪酬。但这场赌博得到了报答,英伟达在四个月内卖出了一百万台RIVA。
黄仁勋鼓舞他的职工带着失望的心情持续出货,在今后的日子里,每逢面临职工讲演,他的开场白便是「咱们公司还有三十天就要关闭了」。这句话至今仍是公司的非正式座右铭。
坐落圣克拉拉( Santa Clara)的英伟达总部中心有两座巨大的修建,每座修建都呈三角形。从沙发、地毯到小便池的防溅罩,整个大楼内部都是这种形状的缩影。
每栋大楼的顶层都有一个酒吧,公司鼓舞职工把办公室当作灵敏的空间,在这儿用餐、编码和交际。假如职工在会议桌上用餐,AI能够在一小时内差遣清洁工进行整理。在股价上涨之前,英伟达就被评为美国最佳作业场所之一。
在规范核算机体系结构中,大部分作业由被称为中央处理器(CPU)的微型芯片完结。几十年来,CPU的首要制造商一向是英特尔,英特尔曾多次企图迫使英伟达退出商场。
黄仁勋描绘英伟达与英特尔之间的联络是「Tom and Jerry relationship」——每逢他们挨近,咱们就拿起芯片跑路。
对此,英伟达采用了另一种办法。1999年,公司在上市后不久就推出了名为GeForce的图形卡。
与通用CPU不同的是,GPU把杂乱的数学使命分解成小的核算,然后用并行核算的办法一次处理完。CPU的功用就像一辆送货货车,一次送一个包裹;而GPU则更像一支摩托车队,在城市中络绎。
GeForce系列取得了成功。《Quake》(《雷神之锤》)系列视频游戏推进了它的盛行,该游戏运用并行核算来烘托玩家能够用榴弹发射器射击的怪物。
《Quake》系列还推出了多人对战的形式,PC游戏玩家为了取得优势,每次晋级都会购买新的GeForce显卡。
2000年,斯坦福大学核算机图形学的研讨生Ian Buck将32块GeForce显卡衔接在一同,运用8台投影仪玩Quake。——这是第一台8K分辨率的游戏机,它占有了整面墙。 「It was beautiful.」
GeForce显卡附带了一种叫做「着色器」的原始编程东西。在美国研讨机构darpa的赞助下,Ian Buck黑进了着色器,访问了下面的并行核算电路,将GeForce变成了一台低成本的超级核算机。
随后不久,Ian Buck就开端在英伟达上班了。
自2004年以来,Buck一向担任英伟达超级核算软件包(CUDA)的开发作业。黄仁勋的愿景是让CUDA能够在每一块GeForce显卡上作业。
在Buck开发软件的一同,英伟达的硬件团队开端在微芯片上为超算分配空间。英伟达的首席芯片工程师Arjun Prabhu将微芯片规划比作城市规划,芯片的不同区域专门用于履行不同的使命。
2006年末,当CUDA发布时,华尔街的反应是惊惶。黄仁勋将超级核算带给了群众,但群众并没有表现出他们需求这样的东西。
硅谷盛行播客《Acquired》的主持人Ben Gilbert表明,英伟达花了数十亿美元瞄准学术和科学核算的一个不起眼的旮旯,而这在其时并不是一个大商场。
到2008年末,英伟达的股价下跌了70%。
黄仁勋以为,CUDA的存在将扩展超级核算范畴。但这一观念并未得到广泛认同。
20世纪初,提起AI,彻底是一个冷门的学科。人工智能在图画辨认、语音辨认等范畴的发展一向止步不前。
在这个不受欢迎的学术范畴中,运用「神经网络」(受人脑启示的核算结构)来处理问题,更是没有得到许多核算机科学家的喜爱。
其时,深度学习研讨员Bryan Catanzaro劝止老黄,「不要研讨神经网络。由于其时人们以为,这现已过期了,而且不起作用」。
Catanzaro还将持续研讨神经网络的研讨人员,一致称为「荒野中的先知」。
这其间的一位先知,便指的是从多伦多大学教授退休、有AI教父之称的Geoffrey Hinton。
2009年,Hinton的研讨小组运用英伟达的CUDA渠道,练习了一个神经网络来辨认语音。
没想到,这项研讨成果的质量,让Hinton自己感到十分惊奇,并在当年的一次会议上报告了成果。然后,他自动联络了英伟达。
「我发了一封电子邮件说:『听着,我刚刚告知上千名机器学习研讨人员,他们应该去购买英伟达显卡。你能免费送我一块吗?』」。
可是,英伟达最终的回复只要一个字「No」。
虽然受到了萧瑟,Hinton仍是鼓舞自己的学生运用CUDA,包含自己引以为傲的高徒Alex Krizhevsky。
2012年,Krizhevsky和研讨同伴Ilya Sutskever在预算严重的情况下,购买了2张GeForce显卡——GTX 580 GPU。
然后,Krizhevsky开端在英伟达的并行核算渠道上,练习视觉辨认神经网络——AlexNet,一周内就向其输入了数千万张图画。
Hinton回想道,「他的卧室里那两块GPU一向嗡嗡作业不断,可想而知,他爸爸妈妈必定付出了相当可观的电费」。
随后,Krizhevsky和小同伴一同带着AlexNet参加了一年一度的ImageNet大赛,一举夺得冠军,第一个深度卷积网络模型就此诞生了。
GeForce显卡的才能,让Ilya和Krizhevsky双双感到惊奇。
其实,2012年早些时分,谷歌研讨人员吴恩达、Jeff Dean曾练习了一个能够「辨认猫」的神经网络。
谷歌这项作业运用了大约1.6万个CPU,而Sutskever和Krizhevsky仅用2块英伟达电路板就产生了「国际级」的作用。
AlexNet正确辨认了滑板车、豹子和集装箱船等物品的图片
可是,AlexNet在比赛中得分如此之高,以至于组织者开端置疑Krizhevsky是否以某种方法做弊。由于神经网络在其时并不受欢迎,Ilya和Krizhevsky是仅有一个运用这种技能的参赛团队。
Hinton称,「那是一种大爆炸的时间。这便是范式的改变」。
这篇「ImageNet Classification with Deep Convolutional Neural Networks」9页神作自2021年诞生以来,至今已被引证了了14万+次,成为核算机史上重要的里程碑。
Krizhevsky创始了许多重要的编程技能,但他的首要发现是,「专用的GPU能够练习神经网络,速度比通用CPU快100倍」。
Hinton弥补道,「假如没有CUDA,做机器学习就会十分费事」。
随后几年内,ImageNet比赛的每个参赛者都在用上了「神经网络」。到20世纪20年代中期,在GPU上练习的神经网络辨认图画的准确率达到了96%,远远超过了人类。
曩昔十年来,黄仁勋在推进超级核算和GPU的遍及上取得了巨大的成功。
他表明,「事实上,它们现在能够处理彻底非结构化的核算机视觉问题,那么接下来,你还能教它做什么?」
老黄再下注:英伟达从图形公司,晋级「AI公司」
答案似乎是:什么都能够!
黄仁勋总结说,神经网络将彻底改变社会,他能够运用CUDA占据必要的硬件商场。
其时,他宣告再次押注公司。
他在周五晚上宣布一封邮件,「全部都将转向深度学习,咱们不再是一家图形公司。从下周一早上开端,咱们是一家人工智能公司」。
英伟达的蜕变,从字面上看,便是这么快。
就在黄仁勋发送那封电子邮件之时,他找到了英伟达首席人工智能研讨员Catanzaro,进行了一次思维试验。
Catanzaro表明,「他让我幻想,把英伟达的8000名职工都带进停车场,然后我能够自由地从停车场挑选任何人参加自己的团队」。
在AlexNet成功之后,危险出资人开端向AI投入大笔资金。
Andreessen Horowitz公司的Marc Andreessen在2016年表明,「咱们一向在出资许多将深度学习应用于许多范畴的草创公司,每一家公司都有效地树立在英伟达的渠道之上」。
大约在那个时分,英伟达向OpenAI的研讨小组,交付了第一台专用的人工智能超级核算机DGX-1。
黄仁勋亲身把DGX-1带到了OpenAI的办公室,是由时任董事长的马斯克开箱。
2017年,谷歌的研讨人员提出了Transforme的神经网络架构。
次年,OpenAI的研讨人员便运用谷歌的结构构建了第一个「生成式预练习Transformer」。
GPT模型在英伟达超级核算机上进行练习,运用了很多的文本语料库,并学习怎么树立相似人类的联络。
2022年末,通过多年迭代,当红炸子鸡ChatGPT总算面向大众发布。
也便是从那时起,英伟达显卡需求爆单。
其间,最强悍的DGX H100,一个重达160多公斤的金属盒子,价格高达50万美元,现已缺货了数月。
DGX H100的作业速度是练习ChatGPT的硬件的5倍,而且能够在不到1分钟的时间内练习AlexNet。
英伟达估计,将在23年年末前售出50万台DGX H100。
应用于神经网络的处理才能越强,其输出就越杂乱。关于最先进的AI体系,或许需求数十个英伟达DGX H100。
假如这还不行,英伟达将把这些核算机像图书馆仓库相同摆放,用价值数千万美元的超级核算设备填满数据中心。
显着,人工智能的才能没有显着的约束。
在接下来的几年里,英伟达的硬件将加快进化到核算机时钟周期的速度,然后练习出各种相似的人工智能模型。
据介绍,英伟达卖出的设备毛利率挨近70%。
巨大的赢利让一切开发AI练习硬件的谷歌、特斯拉,以及草创公司都垂涎欲滴。
说起来,英伟达最剧烈的竞争对手是AMD。
自2014年以来,AMD一向由另一位才华横溢的工程师苏姿丰(Lisa Su)运营。自她成为公司担任人以来的几年里,AMD的股价上涨了30倍,使她成为这个年代最成功的半导体CEO,仅次于黄仁勋。
值得一提的是,老黄和苏姿丰仍是亲戚联络。
老黄自己很少承受采访。他表明,「我并没有做什么特别的事,首要是我的团队的尽力,我也不确定为什么我被选为首席履行官,我并没有任何特别的驱动力」。
当老黄下定决心在30岁运营一家企业的时分,他的联创Chris Malachowsky说,「你真的不是一个好讲演者,由于你比较内向」。
老黄表明,「我只要一个超才能——做作业」。英伟达软件主管Dwight Diercks称老黄能够在一个周末把握任何课题。
黄仁勋更喜爱灵敏的公司结构,没有固定的部分或等级制度。取而代之的是,职工每周提交一份清单,列出他们正在做的5件最重要的工作。
而他自己,每天也要写几百封回复的邮件,与职工谈天,一般仅有几句话。一位高管将这些邮件比作俳句,另一位还比作赎金收据。
老黄自己还拟定了一套自己常常引证的办理格言。
在组织使命时,老黄会要求职工考虑「光速」。这不只意味着快速举动;相反,职工应该考虑一项使命能够完结的绝对速度,然后朝着可完成的方针逆向尽力。
或许老黄最急进的信仰是「失利有必要共享」。
2000年头,英伟达曾出货了一款有毛病的显卡,电扇声响过大、过度活泼。
可是,黄仁勋没有辞退该显卡的产品司理,而是组织了一次会议,让司理们向几百人介绍了,他们做出的每一个导致惨败的决议。
英伟达的职工们有时也会诉苦,老黄的性情翻云覆雨。
黄仁勋表明,「这其实是我脑子里想的和嘴里说的不一致。当错位很严重时,就会表现为愤恨」。
即使在他很镇定的时分,黄仁勋的强势也可能是压倒性的。一名职工描述,「与他沟通就像把手指插进电插座里」。
虽然如此,英伟达职工流失率很低。
GPU的销量暴升,也让英伟达到为了国际算力霸主,成功进入万亿美元沙龙。这背面离不开领导人黄仁勋的「张狂式」的办理战略。
老黄曾表明,当你创建一家公司时,很自然地从第一性原理开端。
参考资料:
https://www.newyorker.com/magazine/2023/12/04/how-jensen-huangs-nvidia-is-powering-the-ai-revolution