“大口吃电”的人工智能
众所周知,机器学习需要消耗大量的能源。算力是人工智能世界发展的基础,而算力的瓶颈归根到底是电力,那些训练聊天机器人、为文本生成视频提供动力的人工智能模型,几乎以每小时兆瓦为单位,产生巨额的服务器用电账单
近日,美国开放人工智能研究中心OpenAI发布首个视频生成模型“Sora”。Sora可以基于文字、图像和视频提示(prompts)生成视频。
Sora的优势十分突出。相对于此前类似应用,Sora生成的视频时间更长(60秒),可以变换视角(平行或无人机视角)和焦距(微距、特写、近景和远景等)、清晰度(高至1080K)和长宽比,还能根据用户提示依据物理原理对视频中的内容向过去或未来推演,以及表达出如孤独、热闹等情感色彩。
一年前,同样是这家研究中心发布的AI语言模型ChatGPT 是文生文,Midjourney 是文生图,Pica 和Runaway等是文生视频,Sora 则大有不同。
据业界专家所说,Sora的影响往小了说是文生视频技术突破了一个数量级,可直接应用于短视频、广告等行业;往大了说,它提供了理解、重建和模拟这个世界的可能性。
▲有人向AI要一段“由一名祖母辈的网红主持的自制团子烹饪课程,背景是一个质朴的托斯卡纳乡村厨房,并配有电影级的灯光”,之后Sora生成了这段AI视频。
Sora等新技术的出现不断颠覆着世界的同时,也为能源和环保带来沉重的压力。
能源无界,地球有声
一个新模型的产生需要消耗多少能源?2023年,有人就ChatGPT的能源消耗算过这样一笔账:光ChatGPT训练一次就要消耗90多万度电,相当于1200个中国人一年的生活用电量。此外,OpenAI公司估计,训练一个GPT-3模型需要约1200亿个参数,而这个过程需要消耗约450万千瓦时的电力。
据专业机构测算,假设托管在微软的Azure云上的ChatGPT每天有100万用户咨询(在特定的响应时间和词汇量下,每天约29,167小时),按A100 GPU的最高功率407W(瓦特)计算,每天碳排放达到3.82吨,每月排碳超过100吨。如今ChatGPT日访问用户超过5800万,实际排碳量要远超每月100吨。
除此之外,训练这样一个包含1750 亿参数的语言大模型,需要上万个 CPU/GPU 24 小时不间输入数据,大概消耗1287MWh的电力,二氧化碳排放量超过552吨。
聚焦文本、音频、图像的ChatGPT消耗已如此之大,聚焦视频的Sora消耗则更为可怖。根据DiT模型创立者谢赛宁博士粗略测算,Sora模型的参数规模大约为30亿。根据对可训练数据量的研究成果,海外大型视频网站每分钟大约上传500小时视频内容。由此测算训练Sora模型需要约7.09万张H100一个月的训练量。
相关研究测算,生成一张图的算力消耗约为256个词的消耗。生成一个1分钟时长短视频的算力消耗,约是生成一次文字对话的千倍以上。也就是说,Sora的二氧化碳排放量是ChatGPT的千倍以上。
目前,Sora并未正式开放,而一旦正式开放,除了对各行业的冲击,其所需要的能耗、所排放的二氧化碳将是惊人的。
在人工智能风暴的裹挟下,可再生能源的独立自主性将得到新的挑战,环保的警戒线也将上升到新的高度。
Sora与自然的博弈
对于前行者来说,研究一个新模型需要消耗多少能源、会造成多大的自然灾害等问题并不会阻止脚步,但对于当前世界来说,任何一个变数都是加重地球危机的砝码。
当前,传统能源面临枯竭的危险,新能源尚不能独立承担起重任。更为严峻的是,由于大量消耗不可再生能源,全球正在面临三大危机:气候变化、污染和生物多样性丧失。
全球气温升高、近两年频频出现的极端气候已经为人类发出了警告,巨大的生存危机悬浮在头上。但是,人类一方面达成双碳目标,另一方面又“不得不”推进技术变化。
人工智能和环境仿佛是相悖的存在。在金融领域有一个三元悖论,独立的货币政策、自由的资本流动和稳定的国家汇率,即一个国家只能拥有其中两项,而不能同时拥有三项。衍生到能源领域变为低成本、清洁环保、安全稳定。而在大模型应用领域则为,通用性、可靠性和经济性。
也就是说,当大模型越可靠、越通用时,其距离经济性也越遥远,从另一个侧面来看,对环境也会造成剧烈的冲击。
正所谓有失必有得,在Sora这类生成式AI技术的推动下,能源领域的AI基础设施也会迎来了“高光时刻”。
能源领域能用到人工智能的地方并不少,无论是大型油田、煤矿的运行,还是风光电站的监控、并网,亦或是电网、储能等的发展,人工智能都是不可或缺的一部分。而Sora可以生成的视频相当于重构了一个世界,更具想象力的是,运用Sora大模型的生成能力,还可以推动产业的技术创新。比如,生成模拟的智慧电网,以便在设计阶段进行分析和优化,从而对风光等不可控能源的并网过程进行提前预估。
一方面是难以控制的碳排放,一方面是人类和自然的博弈。人工智能目前也在思考如何才能最大程度的节能减排,但是相比庞大的排放量和全行业的推进,这些努力似乎杯水车薪。可以预见的是,人工智能对未来环境的冲击是巨大的,Gartner的预测,除非目前能提供更可持续的选择,否则到2025年,AI消耗的能源将超过人类活动所消耗的能源。而Sora的出世将加快这一进程。
众所周知,机器学习需要消耗大量的能源。算力是人工智能世界发展的基础,而算力的瓶颈归根到底是电力,那些训练聊天机器人、为文本生成视频提供动力的人工智能模型,几乎以每小时兆瓦为单位,产生巨额的服务器用电账单。
Digital Information World发布的报告显示,数据中心为训练AI模型产生的能耗是常规云工作的三倍,预计到2030年,美国数据中心的电力需求将以每年约10%的速度增长。
而训练模型,将比传统数据中心活动消耗更多电力,对电力的需求更高。以训练GPT-3大型语言模型为例,需消耗接近1,300兆瓦时的电力,这大约相当于130个美国家庭1年的用电量,而这仅仅是训练AI模型的前期电力,仅占模型实际使用时所消耗电力的40%。
据报道,2023年1月,OpenAI仅一个月已耗用可能等同17.5万个丹麦家庭的全年用电量。谷歌AI每年耗电量达2.3太瓦时,相当于美国亚特兰大州所有家庭1年的用电量。
阿姆斯特丹自由大学博士生Alex de Vries推算认为,到2027年,人工智能行业每年的电量消耗可能在85到134太瓦时之间。这几乎相当于荷兰一个国家年度电力需求,这是个相当可观的数字。
国际能源署(IEA)最近的一份报告也给出了类似的结论,指出由于人工智能和加密货币的需求,数据中心的用电量将在不久的将来大幅增加。该机构表示,2022年数据中心的能源使用量约为460太瓦时,到2026年可能会增加到620至1,050太瓦时之间,分别相当于瑞典或德国的能源需求。
随着人工智能产业的发展,电力消耗可能会更大。同时,随着人工智能的盈利,其研发公司对大模型训练的细节信息——什么样的硬件,运行多长时间等,越发保密。
人工智能公司Hugging Face的研究员Sasha Luccioni表示,对于ChatGPT,我们不知道它有多大,不知道基础模型有多少参数,也不知道它在哪里运行......研发公司的保密行为可能出于行业竞争考虑,也可能是为了转移公众的“批评”。
一些参与人工智能的公司声称,人工智能技术本身可以帮助解决高电耗问题。代表Microsoft的发言人表示,人工智能“将成为推进可持续发展解决方案的有力工具”,并强调Microsoft正在努力实现“到2030年实现负碳、正水和零浪费的可持续发展目标”。
但是一家公司的目标无法涵盖整个行业的全部需求,可能还需要其他方法。Luccioni建议行业为AI模型引入能源之星评级,使消费者能够像比较电器一样比较人工智能的能源效率。
人工智能带来的种种创新功能,都是以处理性能和功耗方面的高昂成本为代价,它并不是免费的。
编辑丨杨 朔
排版丨郑 莉
来源丨The Verge
图片来源丨千图网
原文标题 : “大口吃电”的人工智能