ChatGPT Token令牌限制是多少？如何破解限制

person-using-chatgpt-on-laptop

ChatGPT 席卷了技术世界，并且不乏进步和更新。但尽管使用了先进技术，当前版本仍存在不少限制因素。

其中一个因素就是代币系统，它不断打破进化周期，使应用程序的实用性陷入困境。如果您使用 ChatGPT，您可能想了解 ChatGPT 的令牌以及令牌用完时该怎么办。

让我们退后一步，让您深入了解该应用程序的底层工作机制。

什么是 ChatGPT 令牌？

如果您从应用程序的外观来看，您看到的只是一种计算机语言，它服从您的命令并为您提供所需的答案。然而，后端只是大量代码，每分钟都在学习，并加快其回答的问题。

每当您提出问题时，ChatGPT 都会将每个单词转换为清晰的标记。进一步细分，令牌是文本片段，每种编程语言使用一组不同的令牌值来理解需求。

cpp-coding-samples
由于计算机不能直接理解文本值，因此它们将它们分解为数字组合，通常称为嵌入。您甚至可以考虑像Python 列表这样的嵌入，它类似于相关数字的列表，例如 [1.1,2.1,3.1,4.1…n]。

一旦 ChatGPT 获取初始输入，它就会尝试根据先前的信息预测下一个可能的输入。它选择先前令牌的整个列表，并使用其编码合成，尝试抢占用户的后续输入。它一次利用并预测一个标记，以使语言更容易理解其用法。

为了增强预测并提高准确性，它会获取整个嵌入列表并将其传递到转换器层以建立单词之间的关联。例如，当您询问“谁是托马斯·爱迪生？”之类的问题时，ChatGPT 会挑选列表中最有价值的单词：Who和Edison。

变压器层在整个过程中发挥着自己的作用。这些层是神经网络架构的一种形式，经过训练可以从一串单词中提取最相关的关键字。然而，训练过程并不像听起来那么简单，因为在千兆字节的数据上训练 Transformer 层需要很长时间。

尽管 ChatGPT 一次仅预测一个令牌，但其自回归技术经过编程可以预测并反馈到主模型中以释放输出。该模型被调整为每个标记仅运行一次，因此一次打印一个单词的结果。当应用程序遇到停止令牌命令时，输出会自动停止。

例如，如果您查看 ChatGPT 网站上的令牌计算器，您可以根据您的问题计算令牌使用情况。

让我们输入一些示例文本，例如：

How do I explain the use of tokens in ChatGPT?

根据计算器，该字符串有 46 个字符，将消耗 13 个令牌。如果将其分解为令牌 ID，它看起来像这样：

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

tokenizer
根据OpenAI 代币计算器：

一个有用的经验法则是，一个标记通常对应于常见英语文本的约 4 个文本字符。这相当于大约 3/4 个单词（100 个标记 ~= 75 个单词）。

为了让您了解 ChatGPT 应用程序的功能，OpenAI 为您提供免费的有限令牌订阅。如果您想尝试 ChatGPT API，请使用免费的 5 美元积分，有效期为三个月。一旦限额用完（或试用期结束），您可以按需付费，这会将最大配额增加到 120 美元。

要更上一层楼，您甚至可以注册ChatGPT Plus Offer，每月可节省 20 美元。鉴于整个人工智能模型的广泛使用和流行，以下是付费订阅模型的主要功能：

如果您觉得这些功能完全值得并且适合您，您可以注册付费订阅并立即受益。

有几种不同的应用程序模型可用，您可以根据您的要求进行选择：