好单词

tokenizer

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

  • 1.word tokenizer class 来测试一个断词类
  • 2.GMM tokenizer GMM符号化器
  • 3.string tokenizer 字符分解器
  • 4.Whitespace Tokenizer 空格分词器
  • 5.Word and Sentence Tokenizer 词句表征

    • 英文例句

  • 1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？
  • 2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。
  • 3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。
  • 4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。
  • 5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。


    • 其他单词翻译

    英文单词 中文含义
    rhizocarp

    n.宿根植物
    rhiz-

    pref.根

    网络解释

    根茎
    rhinovirus

    n. 〈医〉鼻病毒

    网络解释

    鼻病毒属; 人鼻病毒; 感冒病毒
    rhizogen

    根花植物;生根器官
    rhizo-

    comb.根
    rhizocarpous

    adj. 多年生草本植物的，宿根的

    网络解释

    根生果的; 草本植物; 根水果的
    rhizagra

    n.牙根钳

    网络解释

    牙根钳
    rhintin

    [医] 根瘤菌生物素
    rhizogenesis

    n.生根；根的生长

    网络解释

    生根; 离体培养根再生
    rhizobacidin

    杀根瘤菌素
    rhizocephalan

    n. 根头目甲壳动物；根头虫

    网络解释

    根头目甲壳动物
    rhipidistian

    鳞鱼化石

    扇鳍目鱼

    网络解释

    鳞鱼化石; 四足类祖先的扇鳍类
    rhizamorphoid

    根状的
    rhizogenic

    adj.生根的
    rhizobenthos

    海底生根植物

    网络解释

    水底生根植物
    rhizocephalous

    adj.根头目的

    网络解释

    根头目的
    rhizanesthesia

    神经根麻醉
    rhipidoglossa

    n.扇舌亚目

    网络解释

    扇舌亚目; 舌齿为扇舌型
    rhizoid

    n. 假根

    adj. 根状的

    网络解释

    根状; 根状的; 葡萄枝和假根
    rhizobia

    n. 根瘤菌(rhizobium的复数)；根瘤菌( rhizobium的名词复数 )