aardio 文档

string.wordsSegmenter 库模块帮助文档

索引与语言

使用指南与示例

string 成员列表 #

string.wordsSegmenter() #

返回对象:wordsSegmenterObject

string.wordsSegmenter(language="zh-CN") #

创建分词器;失败返回 null,err。
参数为 BCP-47 语言标记;省略或 null 使用 zh-CN。
例如 zh-Hans-CN、en-US、ja-JP、und。
合法但无专用规则的语言可能回退到 und。

string.wordsSegmenter 成员列表 #

基于 Windows.Data.Text.WordsSegmenter 的本地分词库。
支持 Windows 10/11,运行不需要 Windows SDK。
分词结果全部为纯 aardio 数组与表。

string.wordBreaker 支持 WinXP/Win7 ,接口兼容 string.wordsSegmenter 。

string.wordsSegmenter.create() #

返回对象:wordsSegmenterObject

string.wordsSegmenter.create(language="zh-CN") #

与调用 string.wordsSegmenter(language) 等价。
成功返回分词器,失败返回 null,err。

wordsSegmenterAlternateFormObject 成员列表 #

wordsSegmenterAlternateFormObject.alternateText #

Windows 返回的替代 / 归一化文本。

wordsSegmenterAlternateFormObject.length #

替代形式所对应原文的 UTF-16 单位长度。

wordsSegmenterAlternateFormObject.normalizationFormat #

字符串:NotNormalized、Number、Currency、Date 或 Time。

wordsSegmenterAlternateFormObject.startPosition #

对完整输入文本的 0 起始 UTF-16 单位位置。

wordsSegmenterObject 成员列表 #

wordsSegmenterObject.getTokenAt() #

返回对象:wordsSegmenterTokenObject

wordsSegmenterObject.getTokenAt(text,startIndex) #

查找包含 startIndex 的词,或该位置之后的第一个词。
索引为从 0 开始的 UTF-16 单位,必须小于文本的 UTF-16 长度。
成功返回词表,无匹配返回 null,错误返回 null,err。

wordsSegmenterObject.getTokens(text) #

返回纯数组,每个元素是包含 text、startPosition、length、alternateForms 的纯表。
位置从 0 开始,位置与长度按 UTF-16 单位计数。
text 为字符串;null 视为空文本,空文本返回 [];失败返回 null,err。

wordsSegmenterObject.getWords(text) #

返回 UTF-8 词文本的纯数组;失败返回 null,err。
text 为字符串;null 视为空文本,空文本返回 []。
不会主动去重、转小写、去停用词或更改 Windows 断词规则。

wordsSegmenterObject.language #

只读属性;创建时请求的语言标记。
改变语言请创建另一个分词器。

wordsSegmenterObject.llmTokens #

估算文本用于调用 AI 大模型的 token 数。

wordsSegmenterObject.llmTokens(text) #

估算参数 text 指定文本用于 AI 大模型所消耗的 token 数。
返回值可调用 math.format.size(tokens," tokens") 函数格式化为类似“21K tokens”的文本。
此函数适合估算主流大模型的分词计数(结果仅供参考),OpenAI GPT4o/GPT5 系列模型请改用 string.gpt.tokens 函数估算。

wordsSegmenterObject.resolvedLanguage #

只读属性;实际使用的分词规则语言。
und 表示语言中立规则,并非自动检测语言。

wordsSegmenterTokenObject 成员列表 #

wordsSegmenterTokenObject.alternateForms #

替代形式的纯数组,无替代形式时为 []。
各项包含 alternateText、startPosition、length、normalizationFormat。
替代形式可能覆盖比原词更多或更少的原文。

wordsSegmenterTokenObject.length #

UTF-16 单位长度,不是 UTF-8 字节数。

wordsSegmenterTokenObject.startPosition #

在完整输入文本中的 0 起始 UTF-16 单位位置。
非 BMP 字符占 2 个 UTF-16 单位。

wordsSegmenterTokenObject.text #

Windows 返回的词文本,UTF-8 字符串。
某些语言规则会归一化文本;位置与长度仍指向原文,不一定可用 text 的长度替代 length。

Markdown 格式