ChatGPT、文心一言这类大模型到底要消耗多少GPU？(2)

来源：　作者：洪笛童　时间：2023-04-18 23:54:29　浏览：次

[ 导读 ] 由ChatGPT引发的算力军备竞赛已经悄然而至了。从另一个侧面也可以得到印证：近期，浪潮在接受媒体采访时，就曾对外表示，“AIGC火热带来AI服务器需求量的爆增，3月份我们发现AI（服务器）市场出现几倍以上增长，以前（客户关注点）是能不能便宜点，现在是能不能用得上。”近日，有媒体援引知情人士消息称，特斯拉CEO马斯克在推特内部启动了一项人工智能项目，为此购买了约1万个GPU。在此之前，在业界就不断

GPU成本：

英伟达A100 GPU的价格因供应商和购买数量而异，假设每个A100 GPU的成本约为10000美元，那么10830个GPU的总成本约为：

10830 * $10,000 = $108,300,000

其他硬件成本：

GPU只是整个计算系统的一部分，我们还需要考虑其他硬件设备的成本。包括CPU、内存、存储、网络设备等。这些硬件成本可能占据整体硬件成本的一部分，假设其他硬件成本占GPU成本的20%，那么：其他硬件成本 = $108,300,000 * 20% = $21,660,000

数据中心成本：

我们还需要考虑数据中心的成本，包括电力、冷却、维护等。假设这些成本占GPU成本的10%，那么：数据中心成本 = $108,300,000 * 10% = $10,830,000

人力成本：

训练大型模型需要一支研究和工程团队，包括研究员、工程师、数据科学家等。人力成本因团队规模和地区差异而异。在这里，我们假设人力成本约为200万美元。

综合以上因素，训练一个千亿规模大型模型的总费用大约为：

总费用 = GPU成本 + 其他硬件成本 + 数据中心成本 + 人力成本

= $108,300,000 + $21,660,000 + $10,830,000 + $2,000,000

≈ $142,790,000

因此，在10天内训练一个千亿规模的大型模型大约需要花费1.43亿美元。

当然，如果训练时间长一点，就可以用更少的GPU，花费更少的成本。但一般而言，总成本都会在几千万美元规模。

从上面的分析可以发现，大模型真的是烧钱的游戏。先不考虑大模型的研发，就是要完成一次大模型的训练，首先就要有上亿的成本投入。

ChatGPT推理应用的算力消耗

需要指出的是，并不是模型训练好了就万事大吉。大模型的应用不是免费的，也是需要消耗算力的。

那么，在模型使用过程中，消耗的算力该怎么计算呢？

要计算一个用户向ChatGPT提问并获得回复所需的算力，我们需要考虑以下因素：模型规模（参数数量）、输入文本长度（问题长度）、输出文本长度（回复长度）、模型的计算复杂性。其他3个要素好理解，模型的计算复杂性是什么呢？模型计算复杂性指的是模型本身的复杂程度，它与模型维度（D）和模型层数（N）成正比。

用户一个问题，需要消耗的算力，可以用以下公式计算：所需FLOPs ≈ L * D * N。其中，L是用户问题的输入长度与模型回答的输出长度之和。

我们假设一个用户问ChatGPT一个50个字的问题，ChatGPT给出了1000字的回复。完成这样一次交互需要消耗的算力：

所需FLOPs ≈ L * D * N

≈ 1050 * 1280 * 96

≈ 128,448,000

因此，当输入问题长度为50个词，输出回复长度为1000个词时，处理一个用户向ChatGPT提问并获得回复所需的算力约为128.45百万次浮点运算（FLOPs）。

在此，我们需要澄清一个问题：ChatGPT回答不同类型的问题，只要问题长度和答案长度都一样，其消耗的算力都一样么？比如同样的问题和答案长度，写小说和做算术题这两类任务消耗的算力是否一样。

在理论上，只要输入问题长度和输出答案长度相同，处理不同类型问题所需的算力应该是相似的。这是因为，无论问题类型如何，Transformer模型的计算复杂性主要取决于输入序列长度（L）、模型维度（D）和模型层数（N）。不过，在实际应用中，根据问题的难度和特定上下文，某些任务可能需要更多的计算步骤来生成更准确的答案。

例如，在生成小说文本时，模型可能需要花费更多的计算资源来保持句子的连贯性、情感和文学风格。而在解决算术问题时，模型可能需要更多的计算资源来处理数学逻辑。然而，从整体来看，两者之间的计算复杂性差异相对较小。

因此，在问题长度和答案长度相同的情况下，不同类型的任务（如写小说和解决算术问题）消耗的算力可能存在一定差异，但总体上应该相差不大。