tiktoken-go 是一个用 Go 语言实现的库,旨在将文本转换为 OpenAI 模型可以识别的 token,支持多种文本编码,提供高效的 token 化处理,具有简单易用的 API 接口,并与 OpenAI 模型兼容。