Gemini 和其他生成式 AI 模型可精细地处理输入和输出 称为“令牌”。
本指南将介绍如何获取 特定模型的上下文窗口以及如何 计算词元数量，适用于文本输入、聊天、多模态等应用场景 输入、系统说明和工具。
令牌简介
令牌可以是单个字符（例如 z），也可以是完整字词（例如 cat）。长字词
被分解为多个词元。模型使用的所有令牌集称为词汇，而将文本拆分为令牌的过程称为令牌化。
对于 Gemini 模型，一个令牌相当于大约 4 个字符。100 个词元大约相当于 60-80 个英语单词。
启用结算功能后，调用 Gemini API 的费用在一定程度上取决于输入和输出令牌的数量，因此了解如何统计令牌会很有帮助。