索引与语言
string.wordsSegmenter(language) 与 string.wordsSegmenter.create(language) 等价;默认 zh-CN。text 保留 Windows 返回值,可能经过归一化而不与原文子串完全相同;位置和长度始终描述原文。startPosition、length 和 getTokenAt 的 startIndex 均使用 从 0 开始的 UTF-16 代码单元,不是 UTF-8 字节或 Unicode 码点;非 BMP 字符占 2 个单位。getTokenAt 返回包含给定位置的词,或该位置之后的第一个词;不存在则返回 null,错误则返回 null,err。resolvedLanguage 是实际匹配的分词规则语言;und 表示语言中立规则,不表示自动语言检测。.res/build.aardio 和 .res/WordsSegmenter.cs,仅重建时需要 Windows SDK。
创建分词器;失败返回 null,err。
参数为 BCP-47 语言标记;省略或 null 使用 zh-CN。
例如 zh-Hans-CN、en-US、ja-JP、und。
合法但无专用规则的语言可能回退到 und。
基于 Windows.Data.Text.WordsSegmenter 的本地分词库。
支持 Windows 10/11,运行不需要 Windows SDK。
分词结果全部为纯 aardio 数组与表。
string.wordBreaker 支持 WinXP/Win7 ,接口兼容 string.wordsSegmenter 。
与调用 string.wordsSegmenter(language) 等价。
成功返回分词器,失败返回 null,err。
Windows 返回的替代 / 归一化文本。
替代形式所对应原文的 UTF-16 单位长度。
字符串:NotNormalized、Number、Currency、Date 或 Time。
对完整输入文本的 0 起始 UTF-16 单位位置。
返回对象:wordsSegmenterTokenObject
查找包含 startIndex 的词,或该位置之后的第一个词。
索引为从 0 开始的 UTF-16 单位,必须小于文本的 UTF-16 长度。
成功返回词表,无匹配返回 null,错误返回 null,err。
返回纯数组,每个元素是包含 text、startPosition、length、alternateForms 的纯表。
位置从 0 开始,位置与长度按 UTF-16 单位计数。
text 为字符串;null 视为空文本,空文本返回 [];失败返回 null,err。
返回 UTF-8 词文本的纯数组;失败返回 null,err。
text 为字符串;null 视为空文本,空文本返回 []。
不会主动去重、转小写、去停用词或更改 Windows 断词规则。
只读属性;创建时请求的语言标记。
改变语言请创建另一个分词器。
估算文本用于调用 AI 大模型的 token 数。
估算参数 text 指定文本用于 AI 大模型所消耗的 token 数。
返回值可调用 math.format.size(tokens," tokens") 函数格式化为类似“21K tokens”的文本。
此函数适合估算主流大模型的分词计数(结果仅供参考),OpenAI GPT4o/GPT5 系列模型请改用 string.gpt.tokens 函数估算。
只读属性;实际使用的分词规则语言。
und 表示语言中立规则,并非自动检测语言。
替代形式的纯数组,无替代形式时为 []。
各项包含 alternateText、startPosition、length、normalizationFormat。
替代形式可能覆盖比原词更多或更少的原文。
UTF-16 单位长度,不是 UTF-8 字节数。
在完整输入文本中的 0 起始 UTF-16 单位位置。
非 BMP 字符占 2 个 UTF-16 单位。
Windows 返回的词文本,UTF-8 字符串。
某些语言规则会归一化文本;位置与长度仍指向原文,不一定可用 text 的长度替代 length。