部分内容可能来自网络或者由AI生成。如有雷同纯属巧合仅供学习参考之用。算法是干什么的一、算法解决的核心问题y f(x)x输入表示一组具有内在关联的特征数据y输出通常是二分类结果是/否或连续值如房价f(x)目标函数例如线性模型形式为y w₁x₁ w₂x₂ w₃x₃ … wₙxₙ b核心目标通过已有数据找到一个合适的函数f使得给定输入x能准确预测输出y。这类问题涵盖哪些场景几乎涵盖所有需要预测的任务例如哪些用户是高风险用户分类明年的房价是多少回归只要提供足够有区分度的数据这些问题原则上都可以通过算法解决。二、为什么算法能解决这些问题关键思想群体行为的概率可预测性对个体而言人生轨迹看似随机但从群体角度看行为受“环境”和“知识”影响具有统计规律。若能识别影响事件发生的关键因素即特征及其影响程度即权重就能预测事件发生的概率。从公式视角理解w₁, w₂, ..., wₙ代表“环境”和“知识”对结果的影响权重y代表群体在特定条件下的“决策”结果可解的前提最终产出一个可推断事件发生概率的模型三、现实中如何分阶段解决算法问题由于资源有限数据、人力、GPU、时间需根据问题价值选择合适方法阶段方法覆盖率数据需求适用场景1人工规则50%–70%极少快速上线、冷启动2经典机器学习70%–95%中等平衡效果与成本3神经网络95%大量高精度、数据充足实际案例挖掘高GMV客群目标在0.5人月内1–2个月内挖掘出XX万潜在高GMV用户投放3个月年底见效。三种路径对比人工规则与业务方沟通分析现有高GMV用户数据肉眼观察共性提炼简单规则如“近30天消费1000元”优点实施快、无需复杂建模经典机器学习获取高GMV用户数据人工构造特征尝试LR、SVM等模型通过实验筛选有效特征与算法优点效果优于规则资源消耗适中神经网络获取大量样本数据设计网络结构、构建训练样本需大量调参与GPU资源优点潜力最大但成本高、周期长四、算法模型的本质寻找有效的y f(x)无论采用何种方法核心目标始终是找到一个能将输入**x**映射到输出**y**的有效函数。经典机器学习典型流程特征工程人工设计或加工相关特征模型选择与训练基于经验尝试 LR、SVM、K-means、PCA 等算法验证评估使用验证集测试模型效果上线应用部署至生产环境进行预测常用算法包括逻辑回归LR、支持向量机SVM、K-means聚类、PCA降维等。五、算法实际工作流程阶段 0需求分析项目启动目标明确业务问题、技术可行性与成功标准关键活动与业务方对齐核心目标如提升点击率、降低流失率等定义评估指标Accuracy、AUC、F1、RMSE、业务KPI等评估资源约束数据量、算力、人力、时间判断是否适合使用机器学习/大模型方案✅输出项目需求文档PRD、技术可行性报告、指标定义表阶段 1数据收集与探索Data Collection EDA目标获取高质量、有代表性的原始数据关键活动数据源接入数据库、日志、API、第三方数据等探索性数据分析EDA分布、缺失值、异常值、相关性数据清洗去重、填充、过滤、标准化数据预处理归一化、编码One-Hot / Embedding、采样过采样/欠采样工具Pandas, NumPy, Spark, SQL, Great Expectations✅输出清洗后的数据集、EDA 报告、数据字典阶段 2数据集划分目标构建无偏、可复现的训练/验证/测试体系关键实践按时间划分时序任务或随机划分静态任务保证各集合分布一致避免数据泄露测试集严格隔离仅用于最终评估✅输出train.csv,val.csv,test.csv或对应数据管道阶段 3特征工程Feature Engineering目标将原始数据转化为模型可学习的有效表示关键活动特征选择基于统计卡方、互信息、模型重要性SHAP、Permutation Importance特征生成交叉特征、滑动窗口统计、文本向量化TF-IDF, BERT Embedding特征转换分箱、对数变换、PCA、标准化特征存储构建特征平台Feature Store以支持复用大模型补充在大模型时代特征工程部分被“Prompt Engineering”或“上下文构造”替代但仍需精心设计输入格式。✅输出特征清单、特征处理 pipeline如 Scikit-learn Pipeline 或 TFX Transform阶段 4模型选择Model Selection目标选择适合任务与数据的候选模型常见选择逻辑 | 任务类型 | 候选模型 | |--------|--------| | 分类/回归 | LR, RF, XGBoost, LightGBM | | 图像 | CNN (ResNet, EfficientNet) | | 文本 | BERT, RoBERTa, Llama, Qwen | | 时序预测 | LSTM, Transformer, Temporal Fusion Transformer | | 多模态 | CLIP, Flamingo, LLaVA |⚠️ 注意大模型LLM虽强大但需权衡推理成本、延迟、可控性。✅输出候选模型列表、基线模型Baseline阶段 5模型训练与调优Training Hyperparameter Tuning目标获得高性能、泛化能力强的模型关键活动基线训练快速验证 pipeline 正确性超参数优化网格搜索、随机搜索、贝叶斯优化Optuna, Ray Tune防止过拟合早停Early Stopping、正则化L1/L2/Dropout、数据增强分布式训练适用于大模型DeepSpeed, FSDP, Megatron-LM框架PyTorch研究友好、TensorFlow/Keras生产友好、Hugging Face TransformersNLP 主流✅输出训练日志、最佳 checkpoint、超参配置文件阶段 6模型评估Evaluation目标客观衡量模型在真实场景下的表现方法在测试集上计算指标AUC、PrecisionK、BLEU、ROUGE 等误差分析bad case 归因类别偏差长尾问题噪声标签A/B 测试线上对比新旧模型对业务指标的影响高级技巧使用 SHAP/LIME 解释模型决策提升可信度✅输出评估报告、误差分析文档、上线建议阶段 7优化与迭代Optimization Iteration目标持续提升模型效果优化方向数据层面增加标注数据、主动学习、合成数据特征层面引入新特征、改进特征表示模型层面更换架构、集成学习、知识蒸馏大模型 → 小模型训练策略课程学习、对比学习、自监督预训练 此阶段常与前面步骤形成闭环是 ML 项目的核心迭代机制。阶段 8模型部署与服务化Deployment工程开发主线同步进行技术选型REST/gRPC、ONNX/TensorRT、Triton Inference Server、KServe编码实现封装推理接口、加载模型、处理输入/输出测试单元测试、集成测试、压力测试QPS、延迟、内存修复 Bug处理边界 case、数值溢出、版本兼容问题部署上线容器化Docker/K8s、灰度发布、自动扩缩容大模型部署特殊考虑模型量化INT8/FP16推理加速vLLM, TensorRT-LLM缓存机制KV Cache安全与合规内容过滤、隐私保护✅输出API 服务、监控看板、部署文档阶段 9监控与运维Monitoring Maintenance目标保障线上服务稳定、效果不退化监控维度系统指标CPU/GPU 利用率、延迟、错误率数据指标输入分布漂移Data Drift、特征缺失率模型指标预测置信度下降、准确率波动业务指标转化率、用户满意度️ 工具Prometheus Grafana, Evidently, Arize, WhyLabs阶段 10反馈与持续迭代Feedback Loop目标形成数据飞轮驱动模型进化机制用户行为日志回流 → 新训练数据Bad case 收集 → 主动学习样本业务指标变化 → 触发新一轮建模 在大模型场景中还可通过人类反馈强化学习RLHF或在线微调Online Fine-tuning实现持续对齐。算法 vs 工程开发对照表阶段算法开发重点工程开发重点初期模型选型、特征设计技术栈选型、架构设计中期训练调优、效果验证代码实现、单元测试后期评估分析、优化方向部署上线、性能压测上线后监控效果、收集反馈监控系统、日志告警 成功的 ML 项目 30% 算法 70% 工程与数据治理
大模型AI-入门-发展历程-算法做什么
发布时间：2026/5/27 18:39:33
部分内容可能来自网络或者由AI生成。如有雷同纯属巧合仅供学习参考之用。算法是干什么的一、算法解决的核心问题y f(x)x输入表示一组具有内在关联的特征数据y输出通常是二分类结果是/否或连续值如房价f(x)目标函数例如线性模型形式为y w₁x₁ w₂x₂ w₃x₃ … wₙxₙ b核心目标通过已有数据找到一个合适的函数f使得给定输入x能准确预测输出y。这类问题涵盖哪些场景几乎涵盖所有需要预测的任务例如哪些用户是高风险用户分类明年的房价是多少回归只要提供足够有区分度的数据这些问题原则上都可以通过算法解决。二、为什么算法能解决这些问题关键思想群体行为的概率可预测性对个体而言人生轨迹看似随机但从群体角度看行为受“环境”和“知识”影响具有统计规律。若能识别影响事件发生的关键因素即特征及其影响程度即权重就能预测事件发生的概率。从公式视角理解w₁, w₂, ..., wₙ代表“环境”和“知识”对结果的影响权重y代表群体在特定条件下的“决策”结果可解的前提最终产出一个可推断事件发生概率的模型三、现实中如何分阶段解决算法问题由于资源有限数据、人力、GPU、时间需根据问题价值选择合适方法阶段方法覆盖率数据需求适用场景1人工规则50%–70%极少快速上线、冷启动2经典机器学习70%–95%中等平衡效果与成本3神经网络95%大量高精度、数据充足实际案例挖掘高GMV客群目标在0.5人月内1–2个月内挖掘出XX万潜在高GMV用户投放3个月年底见效。三种路径对比人工规则与业务方沟通分析现有高GMV用户数据肉眼观察共性提炼简单规则如“近30天消费1000元”优点实施快、无需复杂建模经典机器学习获取高GMV用户数据人工构造特征尝试LR、SVM等模型通过实验筛选有效特征与算法优点效果优于规则资源消耗适中神经网络获取大量样本数据设计网络结构、构建训练样本需大量调参与GPU资源优点潜力最大但成本高、周期长四、算法模型的本质寻找有效的y f(x)无论采用何种方法核心目标始终是找到一个能将输入**x**映射到输出**y**的有效函数。经典机器学习典型流程特征工程人工设计或加工相关特征模型选择与训练基于经验尝试 LR、SVM、K-means、PCA 等算法验证评估使用验证集测试模型效果上线应用部署至生产环境进行预测常用算法包括逻辑回归LR、支持向量机SVM、K-means聚类、PCA降维等。五、算法实际工作流程阶段 0需求分析项目启动目标明确业务问题、技术可行性与成功标准关键活动与业务方对齐核心目标如提升点击率、降低流失率等定义评估指标Accuracy、AUC、F1、RMSE、业务KPI等评估资源约束数据量、算力、人力、时间判断是否适合使用机器学习/大模型方案✅输出项目需求文档PRD、技术可行性报告、指标定义表阶段 1数据收集与探索Data Collection EDA目标获取高质量、有代表性的原始数据关键活动数据源接入数据库、日志、API、第三方数据等探索性数据分析EDA分布、缺失值、异常值、相关性数据清洗去重、填充、过滤、标准化数据预处理归一化、编码One-Hot / Embedding、采样过采样/欠采样工具Pandas, NumPy, Spark, SQL, Great Expectations✅输出清洗后的数据集、EDA 报告、数据字典阶段 2数据集划分目标构建无偏、可复现的训练/验证/测试体系关键实践按时间划分时序任务或随机划分静态任务保证各集合分布一致避免数据泄露测试集严格隔离仅用于最终评估✅输出train.csv,val.csv,test.csv或对应数据管道阶段 3特征工程Feature Engineering目标将原始数据转化为模型可学习的有效表示关键活动特征选择基于统计卡方、互信息、模型重要性SHAP、Permutation Importance特征生成交叉特征、滑动窗口统计、文本向量化TF-IDF, BERT Embedding特征转换分箱、对数变换、PCA、标准化特征存储构建特征平台Feature Store以支持复用大模型补充在大模型时代特征工程部分被“Prompt Engineering”或“上下文构造”替代但仍需精心设计输入格式。✅输出特征清单、特征处理 pipeline如 Scikit-learn Pipeline 或 TFX Transform阶段 4模型选择Model Selection目标选择适合任务与数据的候选模型常见选择逻辑 | 任务类型 | 候选模型 | |--------|--------| | 分类/回归 | LR, RF, XGBoost, LightGBM | | 图像 | CNN (ResNet, EfficientNet) | | 文本 | BERT, RoBERTa, Llama, Qwen | | 时序预测 | LSTM, Transformer, Temporal Fusion Transformer | | 多模态 | CLIP, Flamingo, LLaVA |⚠️ 注意大模型LLM虽强大但需权衡推理成本、延迟、可控性。✅输出候选模型列表、基线模型Baseline阶段 5模型训练与调优Training Hyperparameter Tuning目标获得高性能、泛化能力强的模型关键活动基线训练快速验证 pipeline 正确性超参数优化网格搜索、随机搜索、贝叶斯优化Optuna, Ray Tune防止过拟合早停Early Stopping、正则化L1/L2/Dropout、数据增强分布式训练适用于大模型DeepSpeed, FSDP, Megatron-LM框架PyTorch研究友好、TensorFlow/Keras生产友好、Hugging Face TransformersNLP 主流✅输出训练日志、最佳 checkpoint、超参配置文件阶段 6模型评估Evaluation目标客观衡量模型在真实场景下的表现方法在测试集上计算指标AUC、PrecisionK、BLEU、ROUGE 等误差分析bad case 归因类别偏差长尾问题噪声标签A/B 测试线上对比新旧模型对业务指标的影响高级技巧使用 SHAP/LIME 解释模型决策提升可信度✅输出评估报告、误差分析文档、上线建议阶段 7优化与迭代Optimization Iteration目标持续提升模型效果优化方向数据层面增加标注数据、主动学习、合成数据特征层面引入新特征、改进特征表示模型层面更换架构、集成学习、知识蒸馏大模型 → 小模型训练策略课程学习、对比学习、自监督预训练 此阶段常与前面步骤形成闭环是 ML 项目的核心迭代机制。阶段 8模型部署与服务化Deployment工程开发主线同步进行技术选型REST/gRPC、ONNX/TensorRT、Triton Inference Server、KServe编码实现封装推理接口、加载模型、处理输入/输出测试单元测试、集成测试、压力测试QPS、延迟、内存修复 Bug处理边界 case、数值溢出、版本兼容问题部署上线容器化Docker/K8s、灰度发布、自动扩缩容大模型部署特殊考虑模型量化INT8/FP16推理加速vLLM, TensorRT-LLM缓存机制KV Cache安全与合规内容过滤、隐私保护✅输出API 服务、监控看板、部署文档阶段 9监控与运维Monitoring Maintenance目标保障线上服务稳定、效果不退化监控维度系统指标CPU/GPU 利用率、延迟、错误率数据指标输入分布漂移Data Drift、特征缺失率模型指标预测置信度下降、准确率波动业务指标转化率、用户满意度️ 工具Prometheus Grafana, Evidently, Arize, WhyLabs阶段 10反馈与持续迭代Feedback Loop目标形成数据飞轮驱动模型进化机制用户行为日志回流 → 新训练数据Bad case 收集 → 主动学习样本业务指标变化 → 触发新一轮建模 在大模型场景中还可通过人类反馈强化学习RLHF或在线微调Online Fine-tuning实现持续对齐。算法 vs 工程开发对照表阶段算法开发重点工程开发重点初期模型选型、特征设计技术栈选型、架构设计中期训练调优、效果验证代码实现、单元测试后期评估分析、优化方向部署上线、性能压测上线后监控效果、收集反馈监控系统、日志告警 成功的 ML 项目 30% 算法 70% 工程与数据治理
