string.wordBreaker 库模块帮助文档

使用指南

string 成员列表 #

string.wordBreaker() #

返回对象:wordBreakerObject

string.wordBreaker(language="zh-CN") #

创建分词器，省略或 null 使用 zh-CN。
与 string.wordBreaker.create(language) 等价；失败返回 null,err。

string.wordBreaker 成员列表 #

系统分词器统一入口。
Windows 10 及以后使用 string.wordsSegmenter；旧系统使用 IWordBreaker。

string.wordBreaker.breakText(text,language="zh-CN") #

兼容原有具名接口：直接返回词数组。
Windows 10 及以后使用 string.wordsSegmenter 的 getWords。

string.wordBreaker.create() #

返回对象:wordBreakerObject

string.wordBreaker.create(language="zh-CN") #

创建分词器。
Windows 10 及以后返回 string.wordsSegmenter 分词器；旧系统依赖已注册的 IWordBreaker。

wordBreakerObject 成员列表 #

wordBreakerObject.getTokenAt(text,startIndex) #

获取包含或紧随指定 UTF-16 位置的词；索引从 0 开始。

wordBreakerObject.getTokens(text) #

返回词信息数组；旧系统不提供替代形式（alternateForms 为空数组）。

wordBreakerObject.getWords(text) #

返回 UTF-8 词数组；null 视为空文本；失败返回 null,err。

wordBreakerObject.language #

创建分词器时指定的语言。

wordBreakerObject.llmTokens #

估算文本用于调用 AI 大模型的 token 数。

wordBreakerObject.llmTokens(text) #

估算参数 text 指定文本用于 AI 大模型所消耗的 token 数。
返回值可调用 math.format.size(tokens," tokens") 函数格式化为类似“21K tokens”的文本。
此函数适合估算主流大模型的分词计数（结果仅供参考），OpenAI GPT4o/GPT5 系列模型请改用 string.gpt.tokens 函数估算。

wordBreakerObject.resolvedLanguage #

实际选用的分词语言；旧系统返回请求的语言。

Markdown 格式