tokenizer的意思_tokenizer的中文翻译|音标|读音|用法|例句

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

1.word tokenizer class 来测试一个断词类

2.GMM tokenizer GMM符号化器

3.string tokenizer 字符分解器

4.Whitespace Tokenizer 空格分词器

5.Word and Sentence Tokenizer 词句表征

英文例句

1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？

2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。

3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。

4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。

5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。

其他单词翻译

英文单词	中文含义
thraldom	n.束缚；奴隶的身份；奴役（等于thralldom）网络解释奴隶的身份; 束视
thousandfold	adj. 千倍的 adv. 千倍地 n. 千倍网络解释千倍地; 千重
thoughtlessly	adv. 草率地，不体贴地；混；等闲网络解释不体贴地; 欠考虑的
thought-reader	n.读心术者网络解释善于揣摩别人心思的人
thrall	n. 〈文〉奴隶；奴役；奴隶制；奴隶般受支配的人网络解释萨尔; 预言者萨尔; 索尔
thrashing	n. 打；痛打 v. 鞭打(thrash的现在分词)；彻底击败；打谷，打麦网络解释颠簸; 抖动; 系统颠簸
thousands	n. 数千；一千( thousand的名词复数 )；数千；许许多多；千位数网络解释数千; 上万; 千位数
thoughtlessness	n. 欠考虑；轻率；不体贴；不亲切网络解释轻率; 粗心; 思想缺失症
thousandth	num. 第一千网络解释千分之一的; 第一千的; 毫
thralldom	n.束缚；奴役；奴隶的身分网络解释束缚; 奴役; 奴隶的身分
thrasonical	adj. 自夸的，（打击等）沉重的，吹牛的网络解释夸口的; 自夸的; 吹牛的
thralls	n. 〈文〉奴隶( thrall的名词复数 )；奴役；奴隶制；奴隶般受支配的人网络解释吸血美女; 吸血美人; 特拉尔
thraustomycin	n.脆霉素
thrave	n. 〈英方〉廿四捆谷物；思雷夫
thraw	v. 不一致；不符合；使扭曲；盘绕网络解释迷上; 奴役
threadfish	n.短吻丝鲹
thrawn	adj. 扭弯的，畸形的，丑陋的网络解释索龙; 索隆; 帝国元帅索隆
thread	n. 线；线索；线状物；螺纹 vt. 穿成串；将（针、线等）穿过…；用…线缝；给…装入（胶片、狭带、绳子）网络解释线程; 执行绪; 多线程
thready	adj. 线的；线状的；像线的；纤维性的网络解释线制的; 纤维性的; 象限角
threadgill	n.（Threadgill）人名；（英）思雷德吉尔