好单词

tokenizer

tokenizer

中文翻译

网络解释

字符串分隔类；字符串标记；标记化文字

英文短语

  • 1.word tokenizer class 来测试一个断词类
  • 2.GMM tokenizer GMM符号化器
  • 3.string tokenizer 字符分解器
  • 4.Whitespace Tokenizer 空格分词器
  • 5.Word and Sentence Tokenizer 词句表征

    • 英文例句

  • 1.Why do I need a tokenizer for each language?为什么我需要为每种语言的标记？
  • 2.With the tokenizer, it is easy to decode the processing instructions.有了 tokenizer，就很容易译码处理指令。
  • 3.If the tokenizer encounters neither token, it returns a lexical error.如果记号赋予器未遇到这两个记号，则返回词法错误。
  • 4.A good lexer example can help a lot with learning how to write a tokenizer.一个好的 lexer 例子会非常有助于学习如何编写断词器（tokenizer）。
  • 5.What the parser fills in depends on the path it takes through the tokenizer.解析器填入的内容取决于它通过记号赋予器所采用的路径。


    • 其他单词翻译

    英文单词 中文含义
    Horatius

    n.贺雷修斯（罗马传说中的一名英雄）

    网络解释

    贺拉斯; 霍雷修斯; 霍拉提乌斯
    Hoppin

    [人名] 霍平
    Hord

    [人名] 霍德；[地名] [美国] 霍德

    网络解释

    霍德; 神剑; 部落好像是
    Hore

    [人名] [英格兰人姓氏] 霍尔 Hoare的变体

    网络解释

    霍尔; 十二小时; 逐屏输出
    Hopside

    n.害扑威
    Horizonte

    [地名] [巴西] 奥里藏特

    网络解释

    地平线; 里藏特; 贺里桑迪
    Hopwood

    n.（Hopwood）人名；（英）霍普伍德

    网络解释

    霍普伍德
    Horkey

    [人名] 霍基
    Horace

    n. 贺瑞斯

    网络解释

    贺瑞斯; 霍瑞斯; 哈瑞斯
    Horley

    n.（Horley）人名；（英）霍利

    网络解释

    霍利; 景色宜人且安静的霍利; 霍利镇
    Horae

    n.霍莉（时序女神）

    网络解释

    时序女神; 荷赖; 女神荷赖
    Horan

    n.（Horan）人名；（英）霍兰；（西）奥兰

    网络解释

    霍兰; 何兰
    Horlimone

    荷力蒙

    网络解释

    荷力蒙
    Horatia

    n.霍雷希亚（女子名）

    网络解释

    时间之神; 活利达; 女性
    Hormoz

    n.（Hormoz）人名；（阿拉伯、伊朗）霍尔木兹

    网络解释

    霍尔木兹; 忽鲁谟斯; 霍木兹
    Horatian

    adj.（罗马诗人）贺拉斯（有关的）的；贺拉斯诗歌的

    网络解释

    罗马诗人贺瑞斯的
    Hormuz

    霍尔木兹海峡（在伊朗和阿拉伯半岛之间，连接波斯湾（即阿拉伯湾）和阿曼湾）

    网络解释

    霍尔木兹; 荷姆兹; 要道荷姆兹
    Hornby

    n.霍恩比（姓氏）

    网络解释

    霍姆比; 比街; 霍恩比著
    Horno

    [地名] [玻利维亚] 奥尔诺

    网络解释

    奥尔诺; 霍诺; 搅拌器
    Horwich

    霍里奇（英国）（地名）

    网络解释

    霍里奇; 威奇