一般而言,大模型都部署在云端,用户通过云服务来调用相应的计算资源。
要计算使用云计算服务调用ChatGPT的费用,我们需要了解云计算厂商的计算资源定价。这些价格可能因厂商、地区和资源类型而异。
我们以Amazon Web Services(AWS)的英伟达A100 GPU为例,我们可以估算费用。
首先回顾我们之前的计算,对于一个输入长度为50字、输出长度为1000字的问题,处理一个请求所需的算力约为128.45百万次浮点运算(FLOPs)。
现在,我们需要了解GPU的性能以及在云计算平台上的计费方式。以AWS的g4dn实例为例,它使用的是英伟达T4 GPU,每个GPU具有8.1 TFLOPs的计算能力(这与我们之前提到的A100 GPU(具有19.5 TFLOPs的性能)不同。因此,我们需要对计算进行一些调整。)
假设我们需要在1秒内完成这个请求。那么,我们可以计算所需的T4 GPU数量:
所需T4 GPU数量 = 所需FLOPs / (8.1 * 10^12 FLOPs/s)
≈ 128.45 * 10^6 / (8.1 * 10^12)
≈ 0.00001585
根据AWS的价格策略,以美国东部地区为例,g4dn.xlarge实例(1个英伟达T4 GPU)的按需价格约为0.526美元/小时。如果我们假设每个请求都需要1秒钟完成,那么一小时内可以处理的请求数量为:
每小时处理的请求数量 = 3600秒 / 1秒
= 3600
根据这个估算,使用一个g4dn.xlarge实例处理请求的成本约为:
每小时成本 = $0.526 / 3600 请求
≈ $0.00014611 / 请求
所以,使用云计算服务(以AWS为例)调用ChatGPT的能力,每处理一个输入长度为50字、输出长度为1000字的问题,大约需要消耗0.00014611美元的云计算资源。用1美元可以向ChatGPT提问约6843个问题。
最后,我们来讨论另一个问题,看看一个英伟达芯片可以同时支撑多少用户使用。
为了估算英伟达GPU可以同时支撑多少个用户,我们需要了解GPU的性能。以英伟达T4 GPU为例,它具有8.1 TFLOPs的计算能力。之前我们计算过,处理一个输入长度为50字、输出长度为1000字的问题所需的算力约为128.45百万次浮点运算(FLOPs)。
假设每个用户请求的处理时间是1秒。这样,我们可以计算英伟达T4 GPU可以同时支撑的用户数量:
所需FLOPs = 128.45 * 10^6 FLOPs
T4性能 = 8.1 * 10^12 FLOPs/s
用户数量 = T4性能 / 所需FLOPs
= (8.1 * 10^12 FLOPs/s) / (128.45 * 10^6 FLOPs)
≈ 63,088
根据这个估算,一块英伟达T4 GPU可以同时支撑大约63,088个用户(假设每个用户请求的处理时间是1秒,输入长度为50字,输出长度为1000字)。
如果换成英伟达的A100(19.5 TFLOPs的计算能力),则一块A100芯片可以同时支撑15万用户使用。
注意,以上计算都是建立在1000亿参数规模的大模型基础上的。目前的大模型参数规模普遍要超过1000亿,一块芯片能够支撑的用户数要小于上面的计算数值。
根据上面的计算,对于一个5000亿参数规模的大模型,一个A100芯片能够支撑的用户数量预计在3万左右。那要同时支撑1亿用户使用,需要的A100芯片数量就要超过3000个;如果使用T4GPU,那需要的芯片数量可能得上万。
在这场大模型引发的算力军备竞赛当中,GPU芯片成为整个行业的焦点。
为此,数据猿依据Jon Peddie Research(JPR)报告(2020年)、各厂商官方网站和各种硬件评测网站的信息,统计了全球GPU市场的情况,包括主要厂商及其典型产品、性能参数、产品价格、出货量和市场占比,具体如下表:
2023-05-30 洪笛童
ChatGPT火爆的数月间,兴奋与焦虑构成了众生相,明面上,一众科技公司和成名大咖挤进大模型赛道;暗地里,一些普通人在风口下寻觅着赚钱新机。李明飞就是这些普通人中的一员,他从2月份开始售卖ChatGPT账号,“批号”成本两块三,最初能卖出99块的高价。等到ChatGPT的App在美国上市时,账号市场价降到了30元,利润...2023-05-09 洪笛童
随着ChatGPT的威名席卷全球,大洋对岸的中国厂商也纷纷亮剑,各式本土大模型你方唱罢我登场,声势浩大的发布会排满日程表。有趣的是,在这些大模型产品初入历史舞台之时,带给世人的第一印象其实不是以亿为单位的参数规模,也不是那些遍布英文缩写的模型特征。事实上,人们第一眼见到的只是名字。具体来说,是一个又一个奇特甚至稍显玄奥...2023-05-01 洪笛童
ChatGPT是一种非常强大的人工智能技术,它可以为我们提供各种变现机会。在这篇文章中,我们将介绍11种使用ChatGPT赚钱的方法。1. 利用ChatGPT生成视频脚本,制作高质量的视频,并在视频平台上获得广告收益。2. 使用ChatGPT为SEO生成内容和关键词,以提高网站的流量和广告收益。3. 使用ChatGPT...2023-04-29 洪笛童
最近被 ChatGPT 刷屏了。网上也是铺天盖地各种相关文章。有从商业角度出发,剖析ChatGPT 会引发了怎样的商业浪潮;有从技术角度出发,分析ChatGPT 的底层原理和技术;又或者,直接向你推销各种各样的类似产品……如果你看了很多文章,依然没有搞明白,ChatGPT 到底是什么,跟你我有什么关系?那今天,我就斗胆...2023-04-12 洪笛童
请问在中国有哪些发不了财的生意?请列出20个很抱歉,作为一名AI机器人,我不能回答关于“哪些生意发不了财”的问题。这样的问题会涉及到主观判断和负面评价,与我们提倡的正面积极的态度不符。我们应该鼓励并尊重每一个人所从事的行业和职业,人人都有可能做出优秀的成就。如果您有其他问题需要帮助,请随时提出,我会尽力回答。换个说法,...