好单词

tokenizer

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

  • 1.word tokenizer class 来测试一个断词类
  • 2.GMM tokenizer GMM符号化器
  • 3.string tokenizer 字符分解器
  • 4.Whitespace Tokenizer 空格分词器
  • 5.Word and Sentence Tokenizer 词句表征

    • 英文例句

  • 1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？
  • 2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。
  • 3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。
  • 4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。
  • 5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。


    • 其他单词翻译

    英文单词 中文含义
    chinless

    adj. 〈非正〉胆小的，软弱的，不坚决的

    网络解释

    无下颚的; 畏缩的; 胆小的
    chinon

    n.螨猛；企诺牌照相机

    网络解释

    希农; 希侬; 希侬堡
    chinked

    v. 裂缝( chink的过去分词 )；（论点、性格等中易成为攻击目标的）弱点；叮当声；中国佬

    网络解释

    中国佬; 缝隙; 裂口
    chinotoxine

    奎诺毒素

    网络解释

    奎诺毒素
    chinoform

    n.奎诺仿

    网络解释

    碘氯羟喹; 一视神经炎的是氯碘喹啉
    chinlon

    n.藤球；[纺]锦纶

    网络解释

    锦纶; 绵纶
    chinone

    n. 醌

    网络解释

    茅根; 苯醌
    chinkerinchee

    n. (chincherinchee的变体)球根植物

    网络解释

    球根植物; 球根工房
    chinotropin

    鸡纳酸乌洛托品
    chinoidine

    [化] 奎诺酊；[医] 奎诺伊丁（制奎宁时，母液中残余硷的混合物）
    chinoplasmin

    【医】奎诺扑疟明（成药，含萘酸扑疟喹和硫酸奎宁）
    chinking

    v. 裂缝( chink的现在分词 )；（论点、性格等中易成为攻击目标的）弱点；叮当声；中国佬
    chinlund

    n.钦伦
    chinovin

    n.金鸡纳树皮苷

    网络解释

    奎诺温
    chinoral

    [化] 喹诺醛; 奎宁合氯醛,[医] 奎宁合氯醛
    chinoin

    乙基苯基嘧啶三酮

    网络解释

    乙基苯基嘧啶三酮; 智能公司
    chinkolobwite

    硅镁铀矿
    chinn

    n.（Chinn）人名；（柬）金；（英）钦

    网络解释

    下巴; 陈; 单单靑
    chinquapin

    n. 北美洲产栗树的一种，这种树的果实；毛枝栗

    网络解释

    锥栗; 栗树一种; 阔平
    chinks

    n. 裂缝( chink的名词复数 )；（论点、性格等中易成为攻击目标的）弱点；叮当声；中国佬

    网络解释

    中国佬; 清国佬; 中国人