09 大语言模型LLM演进与 Prompt 入门系列文章目录01 NLP入门什么是自然语言处理 ✅02 文本预处理从原始文本到干净语料 ✅03 文本向量化词袋模型与 TF-IDF ✅04 词向量 Word2Vec让词变成向量 ✅05 循环神经网络 RNN 与 LSTM 详解 ✅06 注意力机制与 Seq2Seq ✅07 Transformer 架构详解 ✅08 预训练语言模型BERT 与 GPT ✅09 大语言模型LLM演进与 Prompt 入门 ✅10 NLP 实战情感分析项目全流程前言走到这一篇我们终于来到了 NLP 最火的前沿——大语言模型Large Language Model, LLM。2022 年底 ChatGPT 横空出世5 天用户破百万2 个月破亿成为史上增长最快的应用。从那以后大模型PromptAgent这些词频繁出现在我们眼前。站在整个专栏的视角看前 8 篇我们讲了 NLP 的基础表示、序列模型、Transformer、预训练这一篇我们将把这些知识串起来理解 LLM 是怎么来的以及普通人如何用Prompt提示词驾驭它。一句话结论大语言模型是Transformer 海量数据 规模效应 人类对齐的产物Prompt 是与大模型高效对话的指令语言。1. 从 GPT 到大语言模型关键的三步跃迁回顾上一篇GPT 已经具备预测下一个词的能力。但要变成今天无所不能的 LLM还需要三把钥匙第一把钥匙规模效应ScalingGPT 系列不断堆大参数和数据模型年份参数量关键意义GPT-120181.1 亿验证预训练范式GPT-2201915 亿零样本能力初现GPT-320201750 亿涌现能力少样本学习ChatGPT2022—RLHF 对齐对话体验质变GPT-42023万亿级推测多模态、更强推理关键概念涌现Emergence——当模型规模超过某个临界点后会突然冒出来很多小模型不具备的能力如逻辑推理、代码生成、翻译、创意写作这是大模型最迷人的地方。第二把钥匙人类反馈对齐RLHF只是预测下一个词的模型会一本正经地胡说八道幻觉。ChatGPT 的突破在于引入了RLHF基于人类反馈的强化学习步骤1让模型生成多个回答 步骤2人类对回答排序哪个更好 步骤3用排序训练奖励模型 步骤4用奖励模型 强化学习微调大模型让它学会讨人喜欢RLHF 让模型从会说话进化到会好好说话——更安全、更有用、更符合人类偏好。第三把钥匙指令微调Instruction Tuning用海量指令-回答对微调模型让它学会遵循人类的指令。这就是为什么我们能用自然语言指挥大模型干活。2. 什么是 Prompt提示词2.1 核心思想Prompt提示词/提示工程就是你输入给大模型的那段指令文字。因为大模型是通过理解指令来工作的所以怎么问直接决定了答得好不好。Prompt 就是和 AI 对话的编程语言——你不是写代码而是用文字编写模型的输出。2.2 为什么 Prompt 这么重要对比传统 NLP大模型时代开发方式训练/微调模型写 Prompt可零代码数据需求大量标注数据无需标注提示词即可迭代速度慢重新训练快改 Prompt 即可对于绝大多数应用场景写一个好 Prompt 比 微调一个模型 更快、更便宜、更实用。3. Prompt 的万能公式一个高质量的 Prompt通常包含以下要素[角色/背景] [任务目标] [具体要求] [输出格式] [示例]3.1 角色设定Role给模型设定一个身份能显著提升输出质量❌ 差帮我写一段话介绍Python ✅ 好你是一名资深Python技术讲师请面向零基础学员写一段话介绍Python3.2 任务明确Task说清楚要做什么❌ 模糊帮我处理这段文字 ✅ 明确请将下面这段文字压缩成50字以内的摘要保留关键信息3.3 输出格式Format指定输出结构便于使用请用以下格式输出 - 优点 - 缺点 - 改进建议3.4 给出示例Few-shot给 1-2 个示例模型会照葫芦画瓢请判断以下评论的情感正面/负面 例1这家店服务态度特别好 → 正面 例2等了两个小时还没上菜 → 负面 例3味道一般价格偏贵 → 4. 常用 Prompt 技巧技巧说明示例角色扮演设定专家身份你是一名法律顾问……分步思考让模型一步步推理请先分析再得出结论Chain-of-Thought约束字数控制输出长度控制在100字以内少样本示例给示例让模型模仿见上方 3.4追问细化一轮对话逐步深入还不够具体请举例说明否定约束明确不要什么不要使用专业术语用大白话进阶技巧CoT思维链——当模型回答复杂问题时引导它一步一步想能显著提升准确率。这是 Prompt 工程中最著名的技巧之一。问题一家商店有12个苹果卖出5个又进了8个请问现在有多少个 回答请逐步思考 1. 原来有12个苹果 2. 卖出5个后12 - 5 7 个 3. 又进了8个后7 8 15 个 所以现在有15个苹果。5. 用 Python 调用大模型OpenAI 风格 API如今几乎所有大模型OpenAI、DeepSeek、通义千问等都提供风格统一的 API。下面是一个标准调用模板import os from openai import OpenAI client OpenAI( api_keyos.getenv(API_KEY), # 从环境变量读取密钥 base_urlhttps://api.openai.com/v1 # 不同模型替换为对应 base_url ) response client.chat.completions.create( modelgpt-4o-mini, # 选择模型 messages[ {role: system, content: 你是一名中文写作助手}, {role: user, content: 请用三句话介绍大语言模型}, ], temperature0.7, # 控制随机性0-1之间 ) print(response.choices[0].message.content)常用参数说明参数作用建议model选择模型按任务和预算选择messages对话消息system/user/assistantsystem 设角色temperature控制输出随机性0稳定1更有创造性max_tokens输出最大长度按需设置stream是否流式输出长回答建议开启⚠️提示国内使用推荐 DeepSeek、通义千问、豆包等模型API 风格与 OpenAI 兼容只需更换base_url和model名。6. 大模型能做什么NLP 视角回到我们整个专栏的主线看看大模型覆盖了哪些之前学过的任务传统 NLP 任务大模型时代的做法文本分类直接写 Prompt请判断情感命名实体识别写 Prompt请抽取人名、地名、机构名机器翻译直接说翻译成英文文本摘要直接说帮我总结要点问答系统直接对话提问对话系统本身就是对话模型大模型把很多传统 NLP 任务的门槛降到了写 Prompt但这并不意味着基础不重要——恰恰相反理解底层的表示、序列、注意力机制才能更好地驾驭大模型、诊断问题、微调模型。这就是本专栏铺垫 8 篇基础的意义。7. 大模型的局限与挑战幻觉Hallucination一本正经地编造不存在的事实上下文窗口有限一次能处理的文本长度有限成本与延迟大模型推理成本高、响应慢知识截止训练数据有时间限制需要配合检索RAG安全性可能被诱导生成有害内容需对齐与防护总结这一篇我们站在了 NLP 的前沿LLM 三大跃迁规模效应涌现、人类对齐RLHF、指令微调Prompt 是什么与大模型对话的指令语言Prompt 万能公式角色 任务 要求 格式 示例常用技巧角色扮演、CoT 思维链、少样本、约束输出API 调用几行代码调用大模型大模型局限幻觉、上下文窗口、成本、安全下一篇也是本专栏的最后一篇我们将把前面 9 篇的知识全部用起来从零完成一个完整的情感分析项目跑通数据 → 预处理 → 向量化 → 训练 → 评估 → 部署的全流程。下篇预告10 NLP 实战情感分析项目全流程 —— 专栏收官实战。参考资料Brown et al.Language Models are Few-Shot Learners(GPT-3), 2020Ouyang et al.Training language models to follow instructions with human feedback(InstructGPT/RLHF), 2022OpenAI Prompt Engineering Guidehttps://platform.openai.com/docs/guides/prompt-engineeringWei et al.Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, 2022 09 大语言模型（LLM）演进与 Prompt 入门
09 大语言模型LLM演进与 Prompt 入门系列文章目录01 NLP入门什么是自然语言处理 ✅02 文本预处理从原始文本到干净语料 ✅03 文本向量化词袋模型与 TF-IDF ✅04 词向量 Word2Vec让词变成向量 ✅05 循环神经网络 RNN 与 LSTM 详解 ✅06 注意力机制与 Seq2Seq ✅07 Transformer 架构详解 ✅08 预训练语言模型BERT 与 GPT ✅09 大语言模型LLM演进与 Prompt 入门 ✅10 NLP 实战情感分析项目全流程前言走到这一篇我们终于来到了 NLP 最火的前沿——大语言模型Large Language Model, LLM。2022 年底 ChatGPT 横空出世5 天用户破百万2 个月破亿成为史上增长最快的应用。从那以后大模型PromptAgent这些词频繁出现在我们眼前。站在整个专栏的视角看前 8 篇我们讲了 NLP 的基础表示、序列模型、Transformer、预训练这一篇我们将把这些知识串起来理解 LLM 是怎么来的以及普通人如何用Prompt提示词驾驭它。一句话结论大语言模型是Transformer 海量数据 规模效应 人类对齐的产物Prompt 是与大模型高效对话的指令语言。1. 从 GPT 到大语言模型关键的三步跃迁回顾上一篇GPT 已经具备预测下一个词的能力。但要变成今天无所不能的 LLM还需要三把钥匙第一把钥匙规模效应ScalingGPT 系列不断堆大参数和数据模型年份参数量关键意义GPT-120181.1 亿验证预训练范式GPT-2201915 亿零样本能力初现GPT-320201750 亿涌现能力少样本学习ChatGPT2022—RLHF 对齐对话体验质变GPT-42023万亿级推测多模态、更强推理关键概念涌现Emergence——当模型规模超过某个临界点后会突然冒出来很多小模型不具备的能力如逻辑推理、代码生成、翻译、创意写作这是大模型最迷人的地方。第二把钥匙人类反馈对齐RLHF只是预测下一个词的模型会一本正经地胡说八道幻觉。ChatGPT 的突破在于引入了RLHF基于人类反馈的强化学习步骤1让模型生成多个回答 步骤2人类对回答排序哪个更好 步骤3用排序训练奖励模型 步骤4用奖励模型 强化学习微调大模型让它学会讨人喜欢RLHF 让模型从会说话进化到会好好说话——更安全、更有用、更符合人类偏好。第三把钥匙指令微调Instruction Tuning用海量指令-回答对微调模型让它学会遵循人类的指令。这就是为什么我们能用自然语言指挥大模型干活。2. 什么是 Prompt提示词2.1 核心思想Prompt提示词/提示工程就是你输入给大模型的那段指令文字。因为大模型是通过理解指令来工作的所以怎么问直接决定了答得好不好。Prompt 就是和 AI 对话的编程语言——你不是写代码而是用文字编写模型的输出。2.2 为什么 Prompt 这么重要对比传统 NLP大模型时代开发方式训练/微调模型写 Prompt可零代码数据需求大量标注数据无需标注提示词即可迭代速度慢重新训练快改 Prompt 即可对于绝大多数应用场景写一个好 Prompt 比 微调一个模型 更快、更便宜、更实用。3. Prompt 的万能公式一个高质量的 Prompt通常包含以下要素[角色/背景] [任务目标] [具体要求] [输出格式] [示例]3.1 角色设定Role给模型设定一个身份能显著提升输出质量❌ 差帮我写一段话介绍Python ✅ 好你是一名资深Python技术讲师请面向零基础学员写一段话介绍Python3.2 任务明确Task说清楚要做什么❌ 模糊帮我处理这段文字 ✅ 明确请将下面这段文字压缩成50字以内的摘要保留关键信息3.3 输出格式Format指定输出结构便于使用请用以下格式输出 - 优点 - 缺点 - 改进建议3.4 给出示例Few-shot给 1-2 个示例模型会照葫芦画瓢请判断以下评论的情感正面/负面 例1这家店服务态度特别好 → 正面 例2等了两个小时还没上菜 → 负面 例3味道一般价格偏贵 → 4. 常用 Prompt 技巧技巧说明示例角色扮演设定专家身份你是一名法律顾问……分步思考让模型一步步推理请先分析再得出结论Chain-of-Thought约束字数控制输出长度控制在100字以内少样本示例给示例让模型模仿见上方 3.4追问细化一轮对话逐步深入还不够具体请举例说明否定约束明确不要什么不要使用专业术语用大白话进阶技巧CoT思维链——当模型回答复杂问题时引导它一步一步想能显著提升准确率。这是 Prompt 工程中最著名的技巧之一。问题一家商店有12个苹果卖出5个又进了8个请问现在有多少个 回答请逐步思考 1. 原来有12个苹果 2. 卖出5个后12 - 5 7 个 3. 又进了8个后7 8 15 个 所以现在有15个苹果。5. 用 Python 调用大模型OpenAI 风格 API如今几乎所有大模型OpenAI、DeepSeek、通义千问等都提供风格统一的 API。下面是一个标准调用模板import os from openai import OpenAI client OpenAI( api_keyos.getenv(API_KEY), # 从环境变量读取密钥 base_urlhttps://api.openai.com/v1 # 不同模型替换为对应 base_url ) response client.chat.completions.create( modelgpt-4o-mini, # 选择模型 messages[ {role: system, content: 你是一名中文写作助手}, {role: user, content: 请用三句话介绍大语言模型}, ], temperature0.7, # 控制随机性0-1之间 ) print(response.choices[0].message.content)常用参数说明参数作用建议model选择模型按任务和预算选择messages对话消息system/user/assistantsystem 设角色temperature控制输出随机性0稳定1更有创造性max_tokens输出最大长度按需设置stream是否流式输出长回答建议开启⚠️提示国内使用推荐 DeepSeek、通义千问、豆包等模型API 风格与 OpenAI 兼容只需更换base_url和model名。6. 大模型能做什么NLP 视角回到我们整个专栏的主线看看大模型覆盖了哪些之前学过的任务传统 NLP 任务大模型时代的做法文本分类直接写 Prompt请判断情感命名实体识别写 Prompt请抽取人名、地名、机构名机器翻译直接说翻译成英文文本摘要直接说帮我总结要点问答系统直接对话提问对话系统本身就是对话模型大模型把很多传统 NLP 任务的门槛降到了写 Prompt但这并不意味着基础不重要——恰恰相反理解底层的表示、序列、注意力机制才能更好地驾驭大模型、诊断问题、微调模型。这就是本专栏铺垫 8 篇基础的意义。7. 大模型的局限与挑战幻觉Hallucination一本正经地编造不存在的事实上下文窗口有限一次能处理的文本长度有限成本与延迟大模型推理成本高、响应慢知识截止训练数据有时间限制需要配合检索RAG安全性可能被诱导生成有害内容需对齐与防护总结这一篇我们站在了 NLP 的前沿LLM 三大跃迁规模效应涌现、人类对齐RLHF、指令微调Prompt 是什么与大模型对话的指令语言Prompt 万能公式角色 任务 要求 格式 示例常用技巧角色扮演、CoT 思维链、少样本、约束输出API 调用几行代码调用大模型大模型局限幻觉、上下文窗口、成本、安全下一篇也是本专栏的最后一篇我们将把前面 9 篇的知识全部用起来从零完成一个完整的情感分析项目跑通数据 → 预处理 → 向量化 → 训练 → 评估 → 部署的全流程。下篇预告10 NLP 实战情感分析项目全流程 —— 专栏收官实战。参考资料Brown et al.Language Models are Few-Shot Learners(GPT-3), 2020Ouyang et al.Training language models to follow instructions with human feedback(InstructGPT/RLHF), 2022OpenAI Prompt Engineering Guidehttps://platform.openai.com/docs/guides/prompt-engineeringWei et al.Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, 2022