0%

Tree-sitter 是一个用于解析源代码的工具和库,核心作者是 Max Brunsfeld。它的核心目标是:快速、增量地把代码转换成语法树(Syntax Tree)。它现在被很多编辑器、IDE、代码分析工具使用,例如 Atom(最初主要使用者)、Zed、GitHub 的代码高亮/代码跳转等等。上篇文章介绍的 Bearer SAST 工具就依赖于 Tree-sitter。

阅读全文 »

这篇文章我们来学习一个开源的静态应用安全测试(Static Application Security Testing,SAST)工具:Bearer,我们将使用使用它来扫描一个示例项目,以对 SAST 有个基本的认知。

阅读全文 »

本文使用 Hugging Face Transformers 库和 Qwen3-0.6B 模型,通过实际代码来深入理解大语言模型(LLM)中的 Tokenizer、BPE 分词、特殊 Token、Chat Template 等核心概念。

阅读全文 »