大语言模型的一大显著特点便是其规模之 巨大:拥有数百万到数十亿个参数。相比之下,使用传统的机器学习或统计方法,凭借一个仅包含两个参数的小模型,就能以超过 90% 的分类准确率对鸢尾花数据集进行分类。尽管与传统方法相比,大语言模型的规模庞大,但它们并不一定是 黑箱 模型。
《从零构建大模型》一书将指导我们如何一步步地构建一个大语言模型,最终,我们将深入理解像 ChatGPT 这样的大语言模型的底层运作原理。它涵盖了构建大语言模型的整个过程:从数据集的处理到模型架构的实现,再到无标签数据的预训练,以及针对特定任务的微调。