非索引字分析器会除去非索引字并将文本转换为仅包含字母字符的标记。
如果要除去非索引字并忽略非字母字符,那么非索引字分析器将非常有用。
非索引字分析器通过以下方式处理文本字符:
在这些示例中,输入字符串显示在第一行,生成的标记显示在第二行,每个标记均以方括号括住。
在以下示例中,将除去非索引字并将字母转换为小写格式:
The Quick Brown Fox Jumped Over The Lazy Dog [quick] [brown] [fox] [jumped] [over] [lazy] [dog]
在以下示例中,@ 符号和句点将视为空格:
xyz@example.com [xyz] [example] [com]
在以下示例中,数字不包含在标记中:
1abc 12abc abc1 abc12 [abc] [abc] [abc] [abc]