大语言模型(LLM)学习路径和资料汇总
Author: ninehills
Labels: blog
Created: 2023-06-27T13:42:33Z
Updated: 2023-09-26T06:07:21Z
Link and comments: https://github.com/ninehills/blog/issues/97
0x00 学习路径
本文分为四个章节,各章节的学习目标如下。请注意本文主要是面向工程界撰写,学术部分较少。
- 入门篇:
- 了解大语言模型的基础知识和常见术语。
- 学会使用编程语言访问 OpenAI API 等常见大语言模型接口。
- 提高篇:
- 了解机器学习、神经网络、NLP 的基础知识。
- 了解 Transformer 以及典型 Decoder-only 语言模型的基础结构和简单原理。
- 了解大语言模型发展历史,以及业界主流模型(含开源模型)进展。
- 应用篇:
- 可以在本地环境搭建开源模型的推理环境。
- Prompt 工程。
- 使用已有框架(如Langchain)或自行开发,结合大语言模型结果,开发生产应用。
- 深入篇:(本文涉及少量资料)
- 掌握 Continue Pre-train、Fine-tuning 已有开源模型的能力。
- 掌握 Lora、QLora 等低资源高效模型训练的能力。
- 掌握大语言模型微调以及预训练数据准备的能力。
- 深入了解大模型背后的技术原理。
- 了解生产环境部署大模型的相关技术点。
读者可以根据自己需要选择对应的章节,如对大语言模型的原理不感兴趣,可只关注入门篇和应用篇。
考虑到阅读背景,本文尽可能提供中文资料或有中文翻译的资料。
0x10 入门篇
在入门之前,请申请 OpenAI API,并具备良好的国际互联网访问条件。
0x20 提高篇
0x30 应用篇
0x40 深入篇