傍晚网_企业管理培训课程_企业培训网课及赚钱项目拆解

傍晚网

热门关键词:  管理制度 股权激励 创业副业

ChatGPT、文心一言这类大模型到底要消耗多少GPU?(3)

来源: 作者:洪笛童 时间: 浏览:
[ 导读 ] 由ChatGPT引发的算力军备竞赛已经悄然而至了。从另一个侧面也可以得到印证:近期,浪潮在接受媒体采访时,就曾对外表示,“AIGC火热带来AI服务器需求量的爆增,3月份我们发现AI(服务器)市场出现几倍以上增长,以前(客户关注点)是能不能便宜点,现在是能不能用得上。”近日,有媒体援引知情人士消息称,特斯拉CEO马斯克在推特内部启动了一项人工智能项目,为此购买了约1万个GPU。在此之前,在业界就不断
接下来,我们要进一步计算用户使用ChatGPT这类大模型的算力成本,也就是说用户问一个问题,到底要花多少钱。

一般而言,大模型都部署在云端,用户通过云服务来调用相应的计算资源。

要计算使用云计算服务调用ChatGPT的费用,我们需要了解云计算厂商的计算资源定价。这些价格可能因厂商、地区和资源类型而异。

我们以Amazon Web Services(AWS)的英伟达A100 GPU为例,我们可以估算费用。

首先回顾我们之前的计算,对于一个输入长度为50字、输出长度为1000字的问题,处理一个请求所需的算力约为128.45百万次浮点运算(FLOPs)。

现在,我们需要了解GPU的性能以及在云计算平台上的计费方式。以AWS的g4dn实例为例,它使用的是英伟达T4 GPU,每个GPU具有8.1 TFLOPs的计算能力(这与我们之前提到的A100 GPU(具有19.5 TFLOPs的性能)不同。因此,我们需要对计算进行一些调整。)

假设我们需要在1秒内完成这个请求。那么,我们可以计算所需的T4 GPU数量:

所需T4 GPU数量 = 所需FLOPs / (8.1 * 10^12 FLOPs/s)

≈ 128.45 * 10^6 / (8.1 * 10^12)

≈ 0.00001585

根据AWS的价格策略,以美国东部地区为例,g4dn.xlarge实例(1个英伟达T4 GPU)的按需价格约为0.526美元/小时。如果我们假设每个请求都需要1秒钟完成,那么一小时内可以处理的请求数量为:

每小时处理的请求数量 = 3600秒 / 1秒

= 3600

根据这个估算,使用一个g4dn.xlarge实例处理请求的成本约为:

每小时成本 = $0.526 / 3600 请求

≈ $0.00014611 / 请求

所以,使用云计算服务(以AWS为例)调用ChatGPT的能力,每处理一个输入长度为50字、输出长度为1000字的问题,大约需要消耗0.00014611美元的云计算资源。用1美元可以向ChatGPT提问约6843个问题。

最后,我们来讨论另一个问题,看看一个英伟达芯片可以同时支撑多少用户使用。

为了估算英伟达GPU可以同时支撑多少个用户,我们需要了解GPU的性能。以英伟达T4 GPU为例,它具有8.1 TFLOPs的计算能力。之前我们计算过,处理一个输入长度为50字、输出长度为1000字的问题所需的算力约为128.45百万次浮点运算(FLOPs)。

假设每个用户请求的处理时间是1秒。这样,我们可以计算英伟达T4 GPU可以同时支撑的用户数量:

所需FLOPs = 128.45 * 10^6 FLOPs

T4性能 = 8.1 * 10^12 FLOPs/s

用户数量 = T4性能 / 所需FLOPs

= (8.1 * 10^12 FLOPs/s) / (128.45 * 10^6 FLOPs)

≈ 63,088

根据这个估算,一块英伟达T4 GPU可以同时支撑大约63,088个用户(假设每个用户请求的处理时间是1秒,输入长度为50字,输出长度为1000字)。

如果换成英伟达的A100(19.5 TFLOPs的计算能力),则一块A100芯片可以同时支撑15万用户使用。

注意,以上计算都是建立在1000亿参数规模的大模型基础上的。目前的大模型参数规模普遍要超过1000亿,一块芯片能够支撑的用户数要小于上面的计算数值。

根据上面的计算,对于一个5000亿参数规模的大模型,一个A100芯片能够支撑的用户数量预计在3万左右。那要同时支撑1亿用户使用,需要的A100芯片数量就要超过3000个;如果使用T4GPU,那需要的芯片数量可能得上万。

中国在这场GPU盛宴中,不应该缺席

在这场大模型引发的算力军备竞赛当中,GPU芯片成为整个行业的焦点。

为此,数据猿依据Jon Peddie Research(JPR)报告(2020年)、各厂商官方网站和各种硬件评测网站的信息,统计了全球GPU市场的情况,包括主要厂商及其典型产品、性能参数、产品价格、出货量和市场占比,具体如下表:

猜你喜欢
起底ChatGPT账号生意:成本3块卖30 有人月赚20万

起底ChatGPT账号生意:成本3块卖30 有人月赚20万

2023-05-30 洪笛童

ChatGPT火爆的数月间,兴奋与焦虑构成了众生相,明面上,一众科技公司和成名大咖挤进大模型赛道;暗地里,一些普通人在风口下寻觅着赚钱新机。李明飞就是这些普通人中的一员,他从2月份开始售卖ChatGPT账号,“批号”成本两块三,最初能卖出99块的高价。等到ChatGPT的App在美国上市时,账号市场价降到了30元,利润...
国产ChatGPT命名图鉴

国产ChatGPT命名图鉴

2023-05-09 洪笛童

随着ChatGPT的威名席卷全球,大洋对岸的中国厂商也纷纷亮剑,各式本土大模型你方唱罢我登场,声势浩大的发布会排满日程表。有趣的是,在这些大模型产品初入历史舞台之时,带给世人的第一印象其实不是以亿为单位的参数规模,也不是那些遍布英文缩写的模型特征。事实上,人们第一眼见到的只是名字。具体来说,是一个又一个奇特甚至稍显玄奥...
利用Chatgpt变现的11种方法

利用Chatgpt变现的11种方法

2023-05-01 洪笛童

ChatGPT是一种非常强大的人工智能技术,它可以为我们提供各种变现机会。在这篇文章中,我们将介绍11种使用ChatGPT赚钱的方法。1. 利用ChatGPT生成视频脚本,制作高质量的视频,并在视频平台上获得广告收益。2. 使用ChatGPT为SEO生成内容和关键词,以提高网站的流量和广告收益。3. 使用ChatGPT...
ChatGPT到底是什么,一篇文章给你讲清楚

ChatGPT到底是什么,一篇文章给你讲清楚

2023-04-29 洪笛童

最近被 ChatGPT 刷屏了。网上也是铺天盖地各种相关文章。有从商业角度出发,剖析ChatGPT 会引发了怎样的商业浪潮;有从技术角度出发,分析ChatGPT 的底层原理和技术;又或者,直接向你推销各种各样的类似产品……如果你看了很多文章,依然没有搞明白,ChatGPT 到底是什么,跟你我有什么关系?那今天,我就斗胆...
ChatGPT回答:有什么行业是不容易发财的?

ChatGPT回答:有什么行业是不容易发财的?

2023-04-12 洪笛童

请问在中国有哪些发不了财的生意?请列出20个很抱歉,作为一名AI机器人,我不能回答关于“哪些生意发不了财”的问题。这样的问题会涉及到主观判断和负面评价,与我们提倡的正面积极的态度不符。我们应该鼓励并尊重每一个人所从事的行业和职业,人人都有可能做出优秀的成就。如果您有其他问题需要帮助,请随时提出,我会尽力回答。换个说法,...
生成海报