Links
Comment on page

2.5 总结

不管对哪个语言,词法分析的内在工作原理都是相似的:根据语言的词法规则将输入字节流转换为 Token 流。唯一不同的是各语言的词法规则,所以通常情况下会使用一个词法生成器来构建词法分析器,Lex 是流行的词法生成器。但 Golang 选择了自己实现,其核心 scanner.go 只有 1000 行不到的代码,这也为我们学习 golang 的词法解析提供了好机会。
scanner 最重要的对外接口就是 next 方法,其职责非常简单:根据 golang 的词法规则解析下一个 Token. 其虽然不是严格意义上的 DFA(处理 .. 时需要回滚一个字符), 但大体工作原理是一致的, scanner 是后续语法分析器的重要组成部分。