好单词

tokenizer

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

  • 1.word tokenizer class 来测试一个断词类
  • 2.GMM tokenizer GMM符号化器
  • 3.string tokenizer 字符分解器
  • 4.Whitespace Tokenizer 空格分词器
  • 5.Word and Sentence Tokenizer 词句表征

    • 英文例句

  • 1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？
  • 2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。
  • 3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。
  • 4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。
  • 5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。


    • 其他单词翻译

    英文单词 中文含义
    eumorphic

    adj. （具有）体育型体质的，（具有）中胚层体型的

    网络解释

    正形
    eulytite

    n.硅铋石；闪铋矿

    网络解释

    硅铋石; 矽铋石
    eulas

    abbr.最终用户许可协议（EndUserLicenseAgreement）

    n.（Eula）人名；（意）欧拉

    网络解释

    最终用户许可协议; 使用者授权合约
    eumanlite

    板钛矿
    eumorphics

    正形术
    eunomic

    adj.守法的

    (社会秩序)良好的； 井井有条的.
    eumorphism

    形态正常

    网络解释

    细胞形态正常
    euonymol

    [医] 卫矛醇

    网络解释

    卫矛醇
    eunotum

    具翅背板
    eumycete

    n.真菌
    eupareunia

    性感正常

    网络解释

    性感正常
    euonymus

    n. 卫矛，卫矛属

    网络解释

    紫果卫矛; 黄杨; 衞矛属
    eumycetin

    n.正真菌素，真菌素
    eunuch

    n. 太监，宦官

    网络解释

    阉宦; 内侍; 宦官的俗称
    eupatorin

    n.佩兰素；半齿泽兰素

    网络解释

    半齿泽兰素; 佩兰素; 泽兰黄素
    euparin

    泽兰素

    网络解释

    兰草素
    euosmia

    n.嗅觉正常；愉快气味

    网络解释

    嗅觉正常; 舒爽气味
    eumycin

    n.优霉素

    网络解释

    抗真菌素; 真菌素
    eunuchism

    n.阉人状态；无睾状态的男性

    网络解释

    阉人状态; 阉病; 阉割状态
    eupatorine

    n.泽兰碱