标准流程CRISP-DM上述所有步骤都契合一个行业标准流程——跨行业数据挖掘标准流程CRISP-DM。它强调项目的循环迭代特性包含六个阶段业务理解、数据理解、数据准备、建模、评估和部署。始终在这一框架下思考能确保研究方法的严谨性和结果的有效性。合作与跨学科应用最后需要强调的是大数据与人工智能领域的进步极大地依赖于合作。计算机科学的方法正在深刻改变物理学、生物学、医学等众多学科的研究范式。保持开放协作分享知识与见解是推动创新和解决复杂问题的关键。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/a7021e74a266a49df9058e5565a3bc31_5.png本节课中我们一起学习了关联规则挖掘的核心算法Apriori和FP-Growth及其云上实现并深入探讨了深度学习在医疗数据分析中的应用流程包括迁移学习和数据增强等关键技术。记住理解你的数据、清晰定义问题并在CRISP-DM等标准流程的指导下进行迭代开发是成功实施任何数据挖掘项目的基石。018超参数优化与AutoML https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/0249c2f5e2f8f0796effa10ab33ea05d_0.png在本节课中我们将学习机器学习中两个至关重要的概念超参数优化和自动化机器学习。我们将探讨什么是超参数介绍几种寻找最优超参数的算法并了解在何种情况下应使用哪种算法。最后我们将介绍两个实用的工具Ray Tune和AutoGluon帮助你实际运行超参数优化任务。什么是超参数超参数是影响机器学习模型性能的参数。这些参数通常在训练开始前由用户设定。它们可以包括架构参数例如模型类型、层数和种类、激活函数类型。优化过程参数例如优化器类型、学习率、动量值。机器学习流水线参数例如在计算机视觉任务中图像的旋转、裁剪、归一化等预处理步骤的参数。为了更清晰地理解我们可以将参数调优分为三个预定义的领域神经架构搜索专门处理架构参数。经典超参数优化。自动化机器学习在超参数优化基础上增加了对整个机器学习流水线的优化。找到好的超参数对模型成功至关重要。为了直观展示下图是一个在CIFAR-10数据集上训练的简单残差网络的学习曲线。可以看到仅通过选择正确的学习率模型性能就能产生天壤之别——从准确率超过80%到完全失败仅10%的验证准确率相当于随机猜测。这些图表也揭示了超参数选择为何如此困难通常无法做出通用预测。你无法简单地说“大学习率好”或“小学习率好”必须找到或接近正确的值才能获得良好性能。核心概念与挑战 在深入之前我们先明确一些术语搜索空间指超参数及其采样区间的集合。配置从搜索空间中采样得到的一组超参数值。试验使用一组采样的超参数配置运行一次训练过程。超参数优化之所以困难主要原因有两点搜索空间复杂通常包含不同类型离散如层数、连续如学习率的参数无法像梯度下降那样计算梯度来寻找最优解。计算成本高昂只有完全训练模型后才能确定其配置的性能。这意味着必须完整训练大量模型才能找出最佳参数。由于缺乏通用的指导方法目前很多工作仍依赖于人工试错。但我们的目标是采用更系统化的方法。超参数优化算法 基础方法随机搜索与网格搜索最简单的方法是随机搜索或网格搜索。随机搜索从超参数搜索空间中随机采样。网格搜索评估所有可能的超参数组合。有趣的是随机搜索是一个非常好的起点。当你对问题一无所知时至少应该进行一些随机搜索。这两种方法本质上都是“令人尴尬的并行”任务不同试验之间几乎不需要通信。然而这两种方法会浪费大量计算资源在那些可能早期就表现不佳的试验上。因此我们需要更高效的方法。加速优化自适应方法有两种主要途径来加速随机或网格搜索过程自适应选择配置使用贝叶斯优化或进化算法等选择更好的配置进行评估。主要挑战在于高维搜索空间可能使这些方法失效。自适应调度试验提前终止表现不佳的试验并将其计算资源重新分配给更有希望的试验。这是我们本节课的重点。自适应调度的核心问题是在缺乏先验信息的情况下如何判断一个试验的好坏观察一些计算机视觉模型的学习曲线可以发现通常在训练早期例如前50个周期通过比较不同试验的曲线就能初步判断其优劣。当有多个试验并行运行时这种比较成为可能由此引入了连续减半算法。连续减半与超带算法连续减半的基本思想很简单早期终止不良试验将资源重新分配给更有希望的试验。实践中流程如下从一定数量的初始配置开始。训练几个周期后根据验证损失或准确率对所有试验进行相对排名。终止排名靠后例如后50%的试验仅继续训练排名靠前如前50%的试验。重复此过程最终希望得到损失最低的单个试验。随之而来的关键问题是如何平衡计算资源是应该在初期运行更多试验以进行探索还是应该让最佳试验运行更长时间以进行利用超带算法通过执行具有不同“激进程度”的连续减半来扩展经典方法。例如第一轮可能每20个周期削减一次下一轮则每40个周期削减一次。希望通过不同激进程度的配置也能捕捉到那些起步较慢但后期强劲的试验。异步超带算法在拥有大量并行资源如高性能计算系统或云环境的场景下经典超带算法可能遇到性能问题。原因在于每个决策点都存在隐式的时间屏障为了判断试验好坏必须等待所有其他训练运行达到相同的周期数。异步超带算法解决了这个问题。其核心思想是在每个决策点算法查看所有已有性能信息的试验的当前状态。如果一个试验属于当前最佳部分则允许其继续如果属于较差部分则将其停止如果算法不确定则继续训练以确保不会过早终止一个有潜力的快速试验。自适应选择方法贝叶斯优化除了自适应调度另一种主流方法是自适应选择配置其中最突出的是贝叶斯优化。其思想是构建一个计算成本低廉的代理模型来模拟原始大型机器学习模型的性能。存在许多使用不同贝叶斯方法的算法和库例如SMAC、Dragonfly、Optuna或DEHB。这些库面临的主要挑战是如何处理大量并行结果因为贝叶斯优化通常是顺序过程。此外贝叶斯优化有时在高维搜索空间中也会遇到问题。不过像SMAC、Dragonfly、Optuna尤其是DEHB都非常注重工作负载的并行化。当然也可以将贝叶斯优化与我们之前看到的超带方法结合起来这种算法被称为BOHB。如何选择算法了解了多种方法后自然要问何时使用哪种算法以下是一个基于经验总结的决策流程查看搜索空间维度如果超参数很少≤2个网格搜索或随机搜索仍然可行。网格搜索更有条理但计算量更大。两者都是很好的起点并且在并行设置中运行良好。搜索空间较大时通常3个参数查看每次试验所需的计算时间如果计算资源充足且每次试验时间很短5分钟即使对于较大搜索空间仍可进行随机搜索。但深度学习模型通常训练数小时因此需要依赖自适应调度方法以提高计算效率。判断你的问题是否是“后发学习者”“后发学习者”指模型性能的最大提升发生在训练中后期。虽然超带和异步超带算法试图避免过早终止好试验但仍可能错过最优组合。不过大多数机器学习问题的学习曲线在训练初期提升最大因此通常可以安全使用超带或异步超带算法。考虑你想要运行的试验数量如果试验数量相对较少例如200次依赖贝叶斯优化方法或与超带结合的BOHB非常高效。如果搜索空间非常大且需要运行大量试验那么你可能需要回到随机搜索或异步超带算法因为计算需求迫使你依赖这些自适应调度方法。其他优化方法与实用技巧 除了上述方法还有一些完全不同的优化思路强化学习使用强化学习智能体选择超参数组合并将试验性能作为奖励。梯度下降对架构搜索空间进行特殊表示从而可以计算梯度并使用梯度下降进行优化这通常是非常高效的方法。零成本代理研究诸如神经网络参数总数等“零成本代理”指标与最终模型性能的关系并以此进行预测这种方法效果出奇地好。大模型超参数优化在只能负担一次大型训练的大模型时代通常的做法是在小模型上寻找最优超参数然后通过某种方式将这些参数迁移到大模型上。以下是一些实用的超参数优化技巧联合优化如果计算资源允许尝试同时优化神经架构和经典超参数因为它们通常相互影响。调整减半激进程度在实践中通常只需保留排名前30%甚至25%的试验终止其余部分可以节省大量计算资源。谨慎对待批量大小不要将批量大小视为超参数。通常较小的批量大小能带来更好的泛化性能但需要更多计算。建议将批量大小增加到单个GPU能处理的最大值然后专注于优化学习率因为两者存在关联。精心选择搜索空间区间例如权重衰减这个超参数非常敏感。如果该参数过小或过大即使其他参数如学习率已处于最优位置所有试验也可能表现不佳。使用独立的数据集进行超参数优化时你需要三个独立的数据集训练集用于训练模型。验证集用于验证性能并据此选择最佳超参数组合。测试集用于最终评估在验证集上找到的最佳超参数模型并报告其性能。实践工具介绍 ️上一节我们介绍了超参数优化的核心算法本节中我们来看看两个可以用于实际运行超参数优化的工具Ray Tune和AutoGluon。工具一Ray TuneRay是一个通用的Python分布式计算框架它提供了简单的原语来运行分布式应用。其卖点在于只需对代码进行极少修改就能将其从单机运行扩展到在大型机器上并行运行。Ray本身是开源的由科技公司Anyscale维护。在Ray生态中Ray Tune专注于分布式超参数调优。它支持多种机器学习框架如PyTorch、TensorFlow以及scikit-learn等可以与Weights Biases集成以获得美观的日志图表并且内置了多种超参数优化算法如异步超带、BOHB等的兼容性。工作原理首先启动一个“头节点”。然后启动多个连接到头节点的“工作节点”。头节点负责在每个工作节点例如每个GPU对应一个工作节点上调度和启动试验。工作节点定期将指标如当前训练/验证准确率报告回头节点。头节点基于这些信息运行优化步骤决定终止哪些试验、继续哪些试验。集成示例importrayfromrayimporttune# 初始化Rayray.init()# 设置超参数搜索空间config{lr:tune.loguniform(1e-4,1e-1),batch_size:tune.choice([32,64,128]),num_layers:tune.randint(1,5)}# 选择调度器如异步超带和优化指标schedulertune.schedulers.AsyncHyperBandScheduler(time_attrtraining_iteration,metricaccuracy,modemax)# 定义每个试验的资源例如在HPC系统上resources_per_trial{cpu:30,gpu:1}# 运行调优analysistune.run(your_training_function,configconfig,schedulerscheduler,num_samples100,# 尝试100组配置resources_per_trialresources_per_trial)# 关闭Rayray.shutdown()运行结束后可以将结果导入Weights Biases查看可视化图表或简单保存到CSV文件。Ray的一个优点是你不仅可以并行运行不同的试验还可以使用像PyTorch DDP这样的框架将单个试验本身分布到多个GPU上进行训练从而实现两级并行获得显著的加速。工具二AutoGluonAutoGluon由亚马逊开发其特别关注点是表格数据和时间序列预测。如果你处理的是这类数据这个工具可能非常适合你。AutoGluon的核心思想是在底层自动组合不同的先进模型如各种回归模型、提升算法、神经网络最终形成一个加权集成模型进行预测。这种方法的优势在于通过结合多种方法通常能获得非常好的性能。缺点则是可能损失一些可解释性。近期AutoGluon还将Chronos集成到了其优化流水线中。Chronos是一个基于Transformer架构的基础模型在大量真实和合成的时间序列数据上进行了预训练因此对于你提供的任何时间序列数据都有很强的预测能力。AutoGluon的另一个优点是它不仅提供点预测还包含概率预测给出分位数以帮助你评估预测的准确性从而了解模型对其预测的置信度。总结 本节课中我们一起学习了超参数优化与自动化机器学习。我们了解到在构建机器学习模型时应使用系统化的超参数优化方法而非依赖人工试错。根据你所处的领域这可以显著提升模型性能。同时我们也鼓励你利用并行计算资源来进行超参数优化以便能够同时运行多个试验。通过本节课介绍的Ray Tune和AutoGluon等工具无论是在云平台还是高性能计算系统上都可以轻松实现这一点。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/0249c2f5e2f8f0796effa10ab33ea05d_2.png希望本教程能帮助你更高效地进行机器学习模型开发。019OpenStack云操作系统 ️https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_1.png在本节课中我们将学习OpenStack云操作系统。OpenStack使我们能够创建自己的私有云而不是依赖AWS、微软Azure或谷歌云等超大规模公有云。这对于需要在组织内部处理敏感数据如医疗或汽车行业的场景尤为重要。我们将了解OpenStack的核心组件、它如何帮助应对构建云基础设施的挑战以及它如何与我们已经学过的概念如虚拟化、容器化和大数据分析相结合。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_3.png上一节我们回顾了超参数优化和自动化机器学习的概念。本节中我们来看看如何从云使用者的视角切换到云构建者的视角。OpenStack概述OpenStack是一个开源的云操作系统它提供了构建和管理私有云或混合云所需的一系列组件。作为一个由开放基础设施基金会支持的项目它具有稳定性和可持续性。使用OpenStack组织可以避免从零开始构建云而是利用其丰富的模块化服务。构建私有云的挑战与需求当决定在组织内部构建私有云时需要应对多项挑战。OpenStack通过其组件集帮助解决这些挑战。以下是构建云基础设施时需要满足的一些关键可扩展性指标规模可扩展性指物理硬件如处理器、存储的增减能力。软件可扩展性确保各种库、编程环境、机器学习框架如PyTorch、CUDA与底层硬件如GPU兼容并能跨集群部署。应用可扩展性指应用程序本身根据负载动态扩展的能力例如MapReduce中根据数据量增减工作节点。技术可扩展性指基础设施能够融合不同代际的技术例如混合使用A100、Grace Hopper和Blackwell等不同代际的GPU。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_5.pngOpenStack核心组件https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_7.pngOpenStack包含众多服务其核心围绕计算、网络和存储这三大资源池展开。以下是OpenStack的一些核心服务及其功能计算服务Nova管理虚拟机实例的生命周期是主要的计算服务。Zun提供容器管理服务支持Docker等容器技术。存储服务Swift提供对象存储服务类似于亚马逊S3。Cinder提供块存储服务类似于亚马逊弹性块存储。Manila提供共享文件系统服务。网络服务Neutron管理网络连接提供软件定义网络功能。镜像服务Glance存储和管理用于创建虚拟机或容器的镜像模板。身份认证服务Keystone提供身份验证和授权服务管理用户和权限。仪表板服务Horizon提供基于Web的用户界面方便用户管理云资源。编排服务Heat提供编排服务用于自动化部署和管理复合云应用。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_9.pngOpenStack实践示例https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_11.png通过组合不同的OpenStack服务可以构建出类似公有云功能的基础设施。示例1模拟亚马逊EC2基础设施即服务https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_13.png要提供类似亚马逊EC2的虚拟机服务需要多个OpenStack服务协同工作。以下是实现此功能所需的关键服务交互https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_15.png用户通过Horizon仪表板或API发起请求。Keystone对用户进行身份验证。用户从Glance中选择一个预定义的镜像例如包含深度学习框架的镜像。Nova计算服务接收请求并调度到合适的物理主机上启动虚拟机实例。Neutron为虚拟机配置网络连接。Cinder或Swift可为虚拟机提供额外的块存储或对象存储。可选Heat服务可以编排整个虚拟机的创建流程。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_17.png示例2支持容器化应用https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_19.png对于容器化应用OpenStack提供了相应的服务。Zun服务专门用于管理容器。它可以直接在物理主机或虚拟机上启动和管理容器与Keystone、Neutron和Glance等服务集成为容器提供网络、身份验证和镜像支持。这可以与Kubernetes结合使用构建更强大的容器平台。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_21.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_23.png示例3构建大数据分析平台如Hadoop/Sparkhttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_25.pngOpenStack可以轻松部署大数据框架。例如部署Hadoop集群时可以利用OpenStack的服务映射其架构。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_27.png以下是Hadoop核心组件与OpenStack服务的对应关系示例https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_29.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_30.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_32.pngNameNode和ResourceManager这些主节点可以运行在由Nova管理的虚拟机上并使用Cinder块存储来保存元数据。DataNode和NodeManager这些工作节点同样由Nova管理并使用Swift对象存储或Cinder块存储来保存实际数据块。Neutron确保所有节点间的网络连通性。这种架构使得企业可以在自己的私有云中运行大数据工作负载处理敏感数据同时享受云的可扩展性和灵活性。市场与社区OpenStack拥有一个活跃的社区和丰富的生态系统。OpenStack Marketplace提供了大量预配置的解决方案和“样本配置”例如一键部署Hadoop或Spark集群。这极大地简化了部署流程用户无需从头开始配置每一个组件。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_34.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_36.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_37.png本节课中我们一起学习了OpenStack作为云操作系统的核心概念。我们了解到OpenStack如何通过模块化服务计算Nova、存储Cinder/Swift、网络Neutron等帮助组织构建私有云应对可扩展性挑战。我们还探讨了它如何模拟公有云服务如EC2、支持容器化以及部署大数据分析平台。掌握OpenStack的基本原理为你在未来可能需要设计或管理企业私有云时奠定了重要的基础。020课程总结与展望 在本节课中我们将回顾整个课程的核心内容并从长远视角和就业市场的角度探讨所学知识如何转化为实际技能。我们将总结关键的理论、技术与范式并展望未来的学习方向。课程内容回顾上一节我们探讨了构建私有云和混合云的动机与方案。本节中我们来看看如何将整个课程的知识体系串联起来并理解其在现实世界中的应用价值。我们学习了当面临在组织内部构建私有云的需求时例如出于数据敏感性、法规遵从性或成本考量可以使用如OpenStack这样的开源平台。OpenStack提供了计算、网络和存储等核心服务组件使我们能够构建类似公有云如AWS、Azure的基础设施即服务IaaS环境。核心概念示例混合云架构公有云服务 (如AWS S3, EC2) -- [API/容器] -- 私有云 (基于OpenStack)这种架构允许在公有云进行测试和开发然后将应用容器如Docker无缝迁移到私有云中处理敏感数据。然而构建私有云也意味着需要承担底层硬件采购、维护升级如GPU从V100到Blackwell架构的迭代以及专业团队管理的成本。因此需要在公有云的便利性与私有云的控制性之间做出权衡。学习成果与技能映射从课程中我们获得了多方面的能力这些能力直接对应着就业市场的需求。以下是课程涵盖的核心技能领域思维模式理解了云计算的各个组件和不同层面包括基础设施、平台和软件即服务IaaS/PaaS/SaaS的范式。技能组合掌握了具体云系统服务如AWS EC2、Azure HDInsight、Google Colab的实践操作知识能够直接应用于工业界或学术界的项目。工具集接触并探索了多个主流云平台AWS, Azure, GCP及其工具同时也认识到这些工具在快速演进需要持续学习。需要明确的是本课程侧重于在云平台上规模化运用机器学习和数据处理工具。要深入理解机器学习算法本身如应对过拟合、偏差、模型选择等建议进一步学习专门的机器学习课程。持久的理论与技术大学课程的价值之一在于传授那些能够经受时间考验的范式、理论和技巧。核心理论并行与分布式算法例如分布式深度学习中的梯度交换用于加速训练过程。其加速效果受限于串行部分遵循一定的定律如阿姆达尔定律。可扩展性设计这是云的核心特性意味着服务需要能够优雅地应对用户、数据和计算资源量的增长。容错性硬件故障是必然的。我们学习了通过数据复制如HDFS中默认的3副本机制等策略来保证系统的高可用性。数据挖掘算法例如FP-Growth用于从大规模数据如购物清单中高效发现频繁模式。统计学习理论理解假设空间如SVM、神经网络、Transformer、模型容量与数据量的匹配关系这是避免过拟合等问题的理论基础。深度学习算法涵盖了卷积神经网络CNN、Transformer等并展望了如物理信息神经网络PINN等前沿交叉领域。关键技术规模经济大型数据中心通过集中采购、运维能显著降低单位计算成本。内存优化利用内存如Spark RDD、GPU HBM进行计算能获得最佳性能但也需权衡其较高的成本。计算找数据 vs 数据找计算这是两种核心范式。MapReduce代表“计算找数据”适合高吞吐量批处理而传统高性能计算HPC常是“数据找计算”将数据移至超级计算机进行处理。云部署模型公有云、私有云、混合云的概念及实现如通过OpenStack。分布式文件系统与复制方案用于数据持久性、高可用和灾备。基础设施虚拟化通过虚拟机或容器如Docker实现资源的共享、隔离和灵活调度提高利用率。核心范式以下范式在可预见的未来仍将保持其重要性高吞吐计算 vs 高性能计算高吞吐计算关注在大量独立任务上实现最大数据处理速率高性能计算则关注通过紧密协作加速单个复杂计算任务。MapReduce一种经典的“分而治之”编程模型包含Map、Shuffle、Reduce阶段适用于大规模数据集批处理。服务模型基础设施即服务IaaS、平台即服务PaaS、软件即服务SaaS的分层模型服务于不同角色的用户管理员、开发者、终端用户。就业市场与未来学习课程中涵盖的技能在当前的招聘市场上需求旺盛。以下是来自LinkedIn等平台的职位要求示例它们直接对应了我们的课程内容机器学习工程师要求具备“云平台AWS、GCP、Azure经验”以及“部署机器学习模型到生产环境”的能力。云/基础设施工程师要求熟悉“Kubernetes、OpenStack”以及“大规模多云平台的挑战”并了解主要公有云厂商。我们的行业项目和实践作业如黑客松为你提供了宝贵的实践经验值得写入简历。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_1.png如果你对深入研究感兴趣在机器学习、深度学习与云计算的交叉领域仍有大量的硕士、博士课题可供探索例如大语言模型LLM的规模化训练与优化。为了保持竞争力请务必持续关注云平台的新服务如各厂商推出的大模型服务和硬件发展如新一代GPU。可以通过课程网站、YouTube频道、LinkedIn上的冰岛高性能计算社区EHPC等渠道保持联系并获取最新信息。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_3.png总结与致谢本节课中我们一起回顾了“云计算与大数据”课程的全貌。我们从具体的云服务操作深入到支撑这些服务的理论与技术最后上升到通用的计算范式。我们也将所学知识与就业市场的实际需求联系起来为你未来的职业或学术发展提供了清晰的路径图。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_5.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_7.png感谢你选修这门课程。教学相长你们在行业项目中的反馈也帮助我们不断优化课程。祝愿各位在未来的求职市场或学术道路上一切顺利。如果你需要推荐信或有进一步的问题欢迎联系。我们可能在未来的学术会议或社区活动中再见https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_9.png也衷心感谢广大YouTube社区观众的支持你们的关注使得这门课程的内容产生了更广泛的影响。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_11.png再见祝你好运 冰岛大学云计算和大数据笔记（二）
标准流程CRISP-DM上述所有步骤都契合一个行业标准流程——跨行业数据挖掘标准流程CRISP-DM。它强调项目的循环迭代特性包含六个阶段业务理解、数据理解、数据准备、建模、评估和部署。始终在这一框架下思考能确保研究方法的严谨性和结果的有效性。合作与跨学科应用最后需要强调的是大数据与人工智能领域的进步极大地依赖于合作。计算机科学的方法正在深刻改变物理学、生物学、医学等众多学科的研究范式。保持开放协作分享知识与见解是推动创新和解决复杂问题的关键。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/a7021e74a266a49df9058e5565a3bc31_5.png本节课中我们一起学习了关联规则挖掘的核心算法Apriori和FP-Growth及其云上实现并深入探讨了深度学习在医疗数据分析中的应用流程包括迁移学习和数据增强等关键技术。记住理解你的数据、清晰定义问题并在CRISP-DM等标准流程的指导下进行迭代开发是成功实施任何数据挖掘项目的基石。018超参数优化与AutoML https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/0249c2f5e2f8f0796effa10ab33ea05d_0.png在本节课中我们将学习机器学习中两个至关重要的概念超参数优化和自动化机器学习。我们将探讨什么是超参数介绍几种寻找最优超参数的算法并了解在何种情况下应使用哪种算法。最后我们将介绍两个实用的工具Ray Tune和AutoGluon帮助你实际运行超参数优化任务。什么是超参数超参数是影响机器学习模型性能的参数。这些参数通常在训练开始前由用户设定。它们可以包括架构参数例如模型类型、层数和种类、激活函数类型。优化过程参数例如优化器类型、学习率、动量值。机器学习流水线参数例如在计算机视觉任务中图像的旋转、裁剪、归一化等预处理步骤的参数。为了更清晰地理解我们可以将参数调优分为三个预定义的领域神经架构搜索专门处理架构参数。经典超参数优化。自动化机器学习在超参数优化基础上增加了对整个机器学习流水线的优化。找到好的超参数对模型成功至关重要。为了直观展示下图是一个在CIFAR-10数据集上训练的简单残差网络的学习曲线。可以看到仅通过选择正确的学习率模型性能就能产生天壤之别——从准确率超过80%到完全失败仅10%的验证准确率相当于随机猜测。这些图表也揭示了超参数选择为何如此困难通常无法做出通用预测。你无法简单地说“大学习率好”或“小学习率好”必须找到或接近正确的值才能获得良好性能。核心概念与挑战 在深入之前我们先明确一些术语搜索空间指超参数及其采样区间的集合。配置从搜索空间中采样得到的一组超参数值。试验使用一组采样的超参数配置运行一次训练过程。超参数优化之所以困难主要原因有两点搜索空间复杂通常包含不同类型离散如层数、连续如学习率的参数无法像梯度下降那样计算梯度来寻找最优解。计算成本高昂只有完全训练模型后才能确定其配置的性能。这意味着必须完整训练大量模型才能找出最佳参数。由于缺乏通用的指导方法目前很多工作仍依赖于人工试错。但我们的目标是采用更系统化的方法。超参数优化算法 基础方法随机搜索与网格搜索最简单的方法是随机搜索或网格搜索。随机搜索从超参数搜索空间中随机采样。网格搜索评估所有可能的超参数组合。有趣的是随机搜索是一个非常好的起点。当你对问题一无所知时至少应该进行一些随机搜索。这两种方法本质上都是“令人尴尬的并行”任务不同试验之间几乎不需要通信。然而这两种方法会浪费大量计算资源在那些可能早期就表现不佳的试验上。因此我们需要更高效的方法。加速优化自适应方法有两种主要途径来加速随机或网格搜索过程自适应选择配置使用贝叶斯优化或进化算法等选择更好的配置进行评估。主要挑战在于高维搜索空间可能使这些方法失效。自适应调度试验提前终止表现不佳的试验并将其计算资源重新分配给更有希望的试验。这是我们本节课的重点。自适应调度的核心问题是在缺乏先验信息的情况下如何判断一个试验的好坏观察一些计算机视觉模型的学习曲线可以发现通常在训练早期例如前50个周期通过比较不同试验的曲线就能初步判断其优劣。当有多个试验并行运行时这种比较成为可能由此引入了连续减半算法。连续减半与超带算法连续减半的基本思想很简单早期终止不良试验将资源重新分配给更有希望的试验。实践中流程如下从一定数量的初始配置开始。训练几个周期后根据验证损失或准确率对所有试验进行相对排名。终止排名靠后例如后50%的试验仅继续训练排名靠前如前50%的试验。重复此过程最终希望得到损失最低的单个试验。随之而来的关键问题是如何平衡计算资源是应该在初期运行更多试验以进行探索还是应该让最佳试验运行更长时间以进行利用超带算法通过执行具有不同“激进程度”的连续减半来扩展经典方法。例如第一轮可能每20个周期削减一次下一轮则每40个周期削减一次。希望通过不同激进程度的配置也能捕捉到那些起步较慢但后期强劲的试验。异步超带算法在拥有大量并行资源如高性能计算系统或云环境的场景下经典超带算法可能遇到性能问题。原因在于每个决策点都存在隐式的时间屏障为了判断试验好坏必须等待所有其他训练运行达到相同的周期数。异步超带算法解决了这个问题。其核心思想是在每个决策点算法查看所有已有性能信息的试验的当前状态。如果一个试验属于当前最佳部分则允许其继续如果属于较差部分则将其停止如果算法不确定则继续训练以确保不会过早终止一个有潜力的快速试验。自适应选择方法贝叶斯优化除了自适应调度另一种主流方法是自适应选择配置其中最突出的是贝叶斯优化。其思想是构建一个计算成本低廉的代理模型来模拟原始大型机器学习模型的性能。存在许多使用不同贝叶斯方法的算法和库例如SMAC、Dragonfly、Optuna或DEHB。这些库面临的主要挑战是如何处理大量并行结果因为贝叶斯优化通常是顺序过程。此外贝叶斯优化有时在高维搜索空间中也会遇到问题。不过像SMAC、Dragonfly、Optuna尤其是DEHB都非常注重工作负载的并行化。当然也可以将贝叶斯优化与我们之前看到的超带方法结合起来这种算法被称为BOHB。如何选择算法了解了多种方法后自然要问何时使用哪种算法以下是一个基于经验总结的决策流程查看搜索空间维度如果超参数很少≤2个网格搜索或随机搜索仍然可行。网格搜索更有条理但计算量更大。两者都是很好的起点并且在并行设置中运行良好。搜索空间较大时通常3个参数查看每次试验所需的计算时间如果计算资源充足且每次试验时间很短5分钟即使对于较大搜索空间仍可进行随机搜索。但深度学习模型通常训练数小时因此需要依赖自适应调度方法以提高计算效率。判断你的问题是否是“后发学习者”“后发学习者”指模型性能的最大提升发生在训练中后期。虽然超带和异步超带算法试图避免过早终止好试验但仍可能错过最优组合。不过大多数机器学习问题的学习曲线在训练初期提升最大因此通常可以安全使用超带或异步超带算法。考虑你想要运行的试验数量如果试验数量相对较少例如200次依赖贝叶斯优化方法或与超带结合的BOHB非常高效。如果搜索空间非常大且需要运行大量试验那么你可能需要回到随机搜索或异步超带算法因为计算需求迫使你依赖这些自适应调度方法。其他优化方法与实用技巧 除了上述方法还有一些完全不同的优化思路强化学习使用强化学习智能体选择超参数组合并将试验性能作为奖励。梯度下降对架构搜索空间进行特殊表示从而可以计算梯度并使用梯度下降进行优化这通常是非常高效的方法。零成本代理研究诸如神经网络参数总数等“零成本代理”指标与最终模型性能的关系并以此进行预测这种方法效果出奇地好。大模型超参数优化在只能负担一次大型训练的大模型时代通常的做法是在小模型上寻找最优超参数然后通过某种方式将这些参数迁移到大模型上。以下是一些实用的超参数优化技巧联合优化如果计算资源允许尝试同时优化神经架构和经典超参数因为它们通常相互影响。调整减半激进程度在实践中通常只需保留排名前30%甚至25%的试验终止其余部分可以节省大量计算资源。谨慎对待批量大小不要将批量大小视为超参数。通常较小的批量大小能带来更好的泛化性能但需要更多计算。建议将批量大小增加到单个GPU能处理的最大值然后专注于优化学习率因为两者存在关联。精心选择搜索空间区间例如权重衰减这个超参数非常敏感。如果该参数过小或过大即使其他参数如学习率已处于最优位置所有试验也可能表现不佳。使用独立的数据集进行超参数优化时你需要三个独立的数据集训练集用于训练模型。验证集用于验证性能并据此选择最佳超参数组合。测试集用于最终评估在验证集上找到的最佳超参数模型并报告其性能。实践工具介绍 ️上一节我们介绍了超参数优化的核心算法本节中我们来看看两个可以用于实际运行超参数优化的工具Ray Tune和AutoGluon。工具一Ray TuneRay是一个通用的Python分布式计算框架它提供了简单的原语来运行分布式应用。其卖点在于只需对代码进行极少修改就能将其从单机运行扩展到在大型机器上并行运行。Ray本身是开源的由科技公司Anyscale维护。在Ray生态中Ray Tune专注于分布式超参数调优。它支持多种机器学习框架如PyTorch、TensorFlow以及scikit-learn等可以与Weights Biases集成以获得美观的日志图表并且内置了多种超参数优化算法如异步超带、BOHB等的兼容性。工作原理首先启动一个“头节点”。然后启动多个连接到头节点的“工作节点”。头节点负责在每个工作节点例如每个GPU对应一个工作节点上调度和启动试验。工作节点定期将指标如当前训练/验证准确率报告回头节点。头节点基于这些信息运行优化步骤决定终止哪些试验、继续哪些试验。集成示例importrayfromrayimporttune# 初始化Rayray.init()# 设置超参数搜索空间config{lr:tune.loguniform(1e-4,1e-1),batch_size:tune.choice([32,64,128]),num_layers:tune.randint(1,5)}# 选择调度器如异步超带和优化指标schedulertune.schedulers.AsyncHyperBandScheduler(time_attrtraining_iteration,metricaccuracy,modemax)# 定义每个试验的资源例如在HPC系统上resources_per_trial{cpu:30,gpu:1}# 运行调优analysistune.run(your_training_function,configconfig,schedulerscheduler,num_samples100,# 尝试100组配置resources_per_trialresources_per_trial)# 关闭Rayray.shutdown()运行结束后可以将结果导入Weights Biases查看可视化图表或简单保存到CSV文件。Ray的一个优点是你不仅可以并行运行不同的试验还可以使用像PyTorch DDP这样的框架将单个试验本身分布到多个GPU上进行训练从而实现两级并行获得显著的加速。工具二AutoGluonAutoGluon由亚马逊开发其特别关注点是表格数据和时间序列预测。如果你处理的是这类数据这个工具可能非常适合你。AutoGluon的核心思想是在底层自动组合不同的先进模型如各种回归模型、提升算法、神经网络最终形成一个加权集成模型进行预测。这种方法的优势在于通过结合多种方法通常能获得非常好的性能。缺点则是可能损失一些可解释性。近期AutoGluon还将Chronos集成到了其优化流水线中。Chronos是一个基于Transformer架构的基础模型在大量真实和合成的时间序列数据上进行了预训练因此对于你提供的任何时间序列数据都有很强的预测能力。AutoGluon的另一个优点是它不仅提供点预测还包含概率预测给出分位数以帮助你评估预测的准确性从而了解模型对其预测的置信度。总结 本节课中我们一起学习了超参数优化与自动化机器学习。我们了解到在构建机器学习模型时应使用系统化的超参数优化方法而非依赖人工试错。根据你所处的领域这可以显著提升模型性能。同时我们也鼓励你利用并行计算资源来进行超参数优化以便能够同时运行多个试验。通过本节课介绍的Ray Tune和AutoGluon等工具无论是在云平台还是高性能计算系统上都可以轻松实现这一点。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/0249c2f5e2f8f0796effa10ab33ea05d_2.png希望本教程能帮助你更高效地进行机器学习模型开发。019OpenStack云操作系统 ️https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_1.png在本节课中我们将学习OpenStack云操作系统。OpenStack使我们能够创建自己的私有云而不是依赖AWS、微软Azure或谷歌云等超大规模公有云。这对于需要在组织内部处理敏感数据如医疗或汽车行业的场景尤为重要。我们将了解OpenStack的核心组件、它如何帮助应对构建云基础设施的挑战以及它如何与我们已经学过的概念如虚拟化、容器化和大数据分析相结合。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_3.png上一节我们回顾了超参数优化和自动化机器学习的概念。本节中我们来看看如何从云使用者的视角切换到云构建者的视角。OpenStack概述OpenStack是一个开源的云操作系统它提供了构建和管理私有云或混合云所需的一系列组件。作为一个由开放基础设施基金会支持的项目它具有稳定性和可持续性。使用OpenStack组织可以避免从零开始构建云而是利用其丰富的模块化服务。构建私有云的挑战与需求当决定在组织内部构建私有云时需要应对多项挑战。OpenStack通过其组件集帮助解决这些挑战。以下是构建云基础设施时需要满足的一些关键可扩展性指标规模可扩展性指物理硬件如处理器、存储的增减能力。软件可扩展性确保各种库、编程环境、机器学习框架如PyTorch、CUDA与底层硬件如GPU兼容并能跨集群部署。应用可扩展性指应用程序本身根据负载动态扩展的能力例如MapReduce中根据数据量增减工作节点。技术可扩展性指基础设施能够融合不同代际的技术例如混合使用A100、Grace Hopper和Blackwell等不同代际的GPU。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_5.pngOpenStack核心组件https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_7.pngOpenStack包含众多服务其核心围绕计算、网络和存储这三大资源池展开。以下是OpenStack的一些核心服务及其功能计算服务Nova管理虚拟机实例的生命周期是主要的计算服务。Zun提供容器管理服务支持Docker等容器技术。存储服务Swift提供对象存储服务类似于亚马逊S3。Cinder提供块存储服务类似于亚马逊弹性块存储。Manila提供共享文件系统服务。网络服务Neutron管理网络连接提供软件定义网络功能。镜像服务Glance存储和管理用于创建虚拟机或容器的镜像模板。身份认证服务Keystone提供身份验证和授权服务管理用户和权限。仪表板服务Horizon提供基于Web的用户界面方便用户管理云资源。编排服务Heat提供编排服务用于自动化部署和管理复合云应用。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_9.pngOpenStack实践示例https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_11.png通过组合不同的OpenStack服务可以构建出类似公有云功能的基础设施。示例1模拟亚马逊EC2基础设施即服务https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_13.png要提供类似亚马逊EC2的虚拟机服务需要多个OpenStack服务协同工作。以下是实现此功能所需的关键服务交互https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_15.png用户通过Horizon仪表板或API发起请求。Keystone对用户进行身份验证。用户从Glance中选择一个预定义的镜像例如包含深度学习框架的镜像。Nova计算服务接收请求并调度到合适的物理主机上启动虚拟机实例。Neutron为虚拟机配置网络连接。Cinder或Swift可为虚拟机提供额外的块存储或对象存储。可选Heat服务可以编排整个虚拟机的创建流程。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_17.png示例2支持容器化应用https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_19.png对于容器化应用OpenStack提供了相应的服务。Zun服务专门用于管理容器。它可以直接在物理主机或虚拟机上启动和管理容器与Keystone、Neutron和Glance等服务集成为容器提供网络、身份验证和镜像支持。这可以与Kubernetes结合使用构建更强大的容器平台。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_21.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_23.png示例3构建大数据分析平台如Hadoop/Sparkhttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_25.pngOpenStack可以轻松部署大数据框架。例如部署Hadoop集群时可以利用OpenStack的服务映射其架构。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_27.png以下是Hadoop核心组件与OpenStack服务的对应关系示例https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_29.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_30.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_32.pngNameNode和ResourceManager这些主节点可以运行在由Nova管理的虚拟机上并使用Cinder块存储来保存元数据。DataNode和NodeManager这些工作节点同样由Nova管理并使用Swift对象存储或Cinder块存储来保存实际数据块。Neutron确保所有节点间的网络连通性。这种架构使得企业可以在自己的私有云中运行大数据工作负载处理敏感数据同时享受云的可扩展性和灵活性。市场与社区OpenStack拥有一个活跃的社区和丰富的生态系统。OpenStack Marketplace提供了大量预配置的解决方案和“样本配置”例如一键部署Hadoop或Spark集群。这极大地简化了部署流程用户无需从头开始配置每一个组件。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_34.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_36.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/9aba52db4320aeb2a5110cb408a67c11_37.png本节课中我们一起学习了OpenStack作为云操作系统的核心概念。我们了解到OpenStack如何通过模块化服务计算Nova、存储Cinder/Swift、网络Neutron等帮助组织构建私有云应对可扩展性挑战。我们还探讨了它如何模拟公有云服务如EC2、支持容器化以及部署大数据分析平台。掌握OpenStack的基本原理为你在未来可能需要设计或管理企业私有云时奠定了重要的基础。020课程总结与展望 在本节课中我们将回顾整个课程的核心内容并从长远视角和就业市场的角度探讨所学知识如何转化为实际技能。我们将总结关键的理论、技术与范式并展望未来的学习方向。课程内容回顾上一节我们探讨了构建私有云和混合云的动机与方案。本节中我们来看看如何将整个课程的知识体系串联起来并理解其在现实世界中的应用价值。我们学习了当面临在组织内部构建私有云的需求时例如出于数据敏感性、法规遵从性或成本考量可以使用如OpenStack这样的开源平台。OpenStack提供了计算、网络和存储等核心服务组件使我们能够构建类似公有云如AWS、Azure的基础设施即服务IaaS环境。核心概念示例混合云架构公有云服务 (如AWS S3, EC2) -- [API/容器] -- 私有云 (基于OpenStack)这种架构允许在公有云进行测试和开发然后将应用容器如Docker无缝迁移到私有云中处理敏感数据。然而构建私有云也意味着需要承担底层硬件采购、维护升级如GPU从V100到Blackwell架构的迭代以及专业团队管理的成本。因此需要在公有云的便利性与私有云的控制性之间做出权衡。学习成果与技能映射从课程中我们获得了多方面的能力这些能力直接对应着就业市场的需求。以下是课程涵盖的核心技能领域思维模式理解了云计算的各个组件和不同层面包括基础设施、平台和软件即服务IaaS/PaaS/SaaS的范式。技能组合掌握了具体云系统服务如AWS EC2、Azure HDInsight、Google Colab的实践操作知识能够直接应用于工业界或学术界的项目。工具集接触并探索了多个主流云平台AWS, Azure, GCP及其工具同时也认识到这些工具在快速演进需要持续学习。需要明确的是本课程侧重于在云平台上规模化运用机器学习和数据处理工具。要深入理解机器学习算法本身如应对过拟合、偏差、模型选择等建议进一步学习专门的机器学习课程。持久的理论与技术大学课程的价值之一在于传授那些能够经受时间考验的范式、理论和技巧。核心理论并行与分布式算法例如分布式深度学习中的梯度交换用于加速训练过程。其加速效果受限于串行部分遵循一定的定律如阿姆达尔定律。可扩展性设计这是云的核心特性意味着服务需要能够优雅地应对用户、数据和计算资源量的增长。容错性硬件故障是必然的。我们学习了通过数据复制如HDFS中默认的3副本机制等策略来保证系统的高可用性。数据挖掘算法例如FP-Growth用于从大规模数据如购物清单中高效发现频繁模式。统计学习理论理解假设空间如SVM、神经网络、Transformer、模型容量与数据量的匹配关系这是避免过拟合等问题的理论基础。深度学习算法涵盖了卷积神经网络CNN、Transformer等并展望了如物理信息神经网络PINN等前沿交叉领域。关键技术规模经济大型数据中心通过集中采购、运维能显著降低单位计算成本。内存优化利用内存如Spark RDD、GPU HBM进行计算能获得最佳性能但也需权衡其较高的成本。计算找数据 vs 数据找计算这是两种核心范式。MapReduce代表“计算找数据”适合高吞吐量批处理而传统高性能计算HPC常是“数据找计算”将数据移至超级计算机进行处理。云部署模型公有云、私有云、混合云的概念及实现如通过OpenStack。分布式文件系统与复制方案用于数据持久性、高可用和灾备。基础设施虚拟化通过虚拟机或容器如Docker实现资源的共享、隔离和灵活调度提高利用率。核心范式以下范式在可预见的未来仍将保持其重要性高吞吐计算 vs 高性能计算高吞吐计算关注在大量独立任务上实现最大数据处理速率高性能计算则关注通过紧密协作加速单个复杂计算任务。MapReduce一种经典的“分而治之”编程模型包含Map、Shuffle、Reduce阶段适用于大规模数据集批处理。服务模型基础设施即服务IaaS、平台即服务PaaS、软件即服务SaaS的分层模型服务于不同角色的用户管理员、开发者、终端用户。就业市场与未来学习课程中涵盖的技能在当前的招聘市场上需求旺盛。以下是来自LinkedIn等平台的职位要求示例它们直接对应了我们的课程内容机器学习工程师要求具备“云平台AWS、GCP、Azure经验”以及“部署机器学习模型到生产环境”的能力。云/基础设施工程师要求熟悉“Kubernetes、OpenStack”以及“大规模多云平台的挑战”并了解主要公有云厂商。我们的行业项目和实践作业如黑客松为你提供了宝贵的实践经验值得写入简历。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_1.png如果你对深入研究感兴趣在机器学习、深度学习与云计算的交叉领域仍有大量的硕士、博士课题可供探索例如大语言模型LLM的规模化训练与优化。为了保持竞争力请务必持续关注云平台的新服务如各厂商推出的大模型服务和硬件发展如新一代GPU。可以通过课程网站、YouTube频道、LinkedIn上的冰岛高性能计算社区EHPC等渠道保持联系并获取最新信息。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_3.png总结与致谢本节课中我们一起回顾了“云计算与大数据”课程的全貌。我们从具体的云服务操作深入到支撑这些服务的理论与技术最后上升到通用的计算范式。我们也将所学知识与就业市场的实际需求联系起来为你未来的职业或学术发展提供了清晰的路径图。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_5.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_7.png感谢你选修这门课程。教学相长你们在行业项目中的反馈也帮助我们不断优化课程。祝愿各位在未来的求职市场或学术道路上一切顺利。如果你需要推荐信或有进一步的问题欢迎联系。我们可能在未来的学术会议或社区活动中再见https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_9.png也衷心感谢广大YouTube社区观众的支持你们的关注使得这门课程的内容产生了更广泛的影响。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/icld-cldcomp-bgdt/img/97c6bc2f223b758f0b22d0fdb7824f5d_11.png再见祝你好运