订单利润分流数据加工

一、实验背景1.1 实验目的本次实验的核心目标是掌握助睿数智Uniplore一站式数据科学实验平台的基础操作流程完成从订单数据源接入、数据清洗、字段处理到结果输出的完整数据加工任务理解ETL抽取、转换、加载的核心逻辑并学会运用平台零代码组件实现订单利润的分流处理与数据验证为后续商业数据分析类任务打下基础。1.2 实验环境实验平台助睿数智Uniplore一站式数据科学实验平台数据源平台提供的订单业务数据集包含订单ID、商品信息、成本、售价、订单状态等字段工具支持平台内置的表输入、记录集连接、字段选择、过滤记录、Excel输出等零代码数据处理组件1.3 业务场景电商平台在运营过程中需要对订单数据进行精细化分析其中订单利润计算与分流是基础且关键的环节。通过对订单数据的加工我们可以计算每笔订单的实际利润利润售价-成本-相关费用筛选有效订单排除取消、退款状态的订单按利润区间对订单进行分流分类为后续盈利分析、用户分层提供数据支撑1.4 数据加工流程整体流程分为6个核心阶段数据接入通过表输入组件同步订单数据源数据合并使用记录集连接组件整合订单主表与明细表数据字段处理通过字段选择组件筛选所需字段去除冗余信息数据过滤利用过滤记录组件剔除无效订单数据利润计算通过字段计算组件生成利润字段并按利润区间分流结果输出通过Excel输出组件导出加工后的订单利润数据二、实验步骤2.1 登录实验平台打开浏览器访问助睿数智实验平台地址输入账号密码完成登录操作进入平台首页确认平台环境正常无登录异常或权限提示4.进入实训平台2.2 基本概念了解学习助睿平台的核心术语转换流、组件、数据源、字段映射、执行日志理解数据处理组件的作用每个组件对应一个数据处理步骤通过拖拽连接形成完整流程明确订单利润计算的业务逻辑梳理所需字段与数据规则2.3 团队管理选择数据集成/ETL进入数据集成页面点击团队管理菜单并点击新增团队“在弹出的窗口中团队名称和团队描述点击确认“创建成功后点击团队卡片右上角的更多选择添加成员“输入手机号查询组员勾选后点击添加即可2.4 创建实验项目在平台首页点击「新建项目」输入项目名称助睿ETL入门实验点击「创建」进入项目编辑界面项目创建成功后点击该项目右上角.“点击打开项目“2.5 同步数据源首先获取本次的实验数据集点击元数据右键曰点击同步数据源切换文件库菜单再切换回到元数据可以看到成功同步的数据库线上公共数据源(Readonly)2.6 新建转换流本次实验将创建订单利润分流处理转换流实现订单数据与产品信息的关联并根据利润正负将数据分流为盈利订单和亏损订单分别输出到两个Excel文件。整体逻辑订单明细表→左外连接产品信息表→移除重复ID字段→按利润≥0分流→盈利订单/亏损订单分别输出新建转换流具体操作如下切换到资源库同样右键根目录点击新建转换流输入转换流名字订单利润分流处理点击确定“创建成功后进入转换流设计页面转换流设计页面每次打开都是锁定状态需要解锁后才可编辑转换流点击图标进行解锁2.7 添加组件按流程顺序从组件库中拖拽以下组件到画布中表输入组件2个分别读取订单主表与明细表右键表输入组件点击编辑组件修改步骤名称中为订单_详细订单点击确认“此时画布中的对应表输入组件被命名为订单_详细订单“同样的另一表输入组件修改为订单_产品信息记录集连接组件用于关联两张表数据创建两个表输入组件到记录集连接组件的连接线如下图在建立连接线时会出现排序需要的提示。这是由于记录集连接组件是按接收数据的顺序进行记录关联的如果接收的数据是无序的可能会造成记录连接结果出错。字段选择组件筛选所需字段将字段选择组件名字修改为移除产品ID_1字段创建记录集连接组件到字段选择组件的连接线如下图过滤记录组件剔除无效订单创建字段选择组件到过滤记录组件的连接线如下图在选择连接线的弹窗中点击主输出步骤。由于在进行字段选择操作时可能有记录不满足要求导致记录被标记为错误。主输出步骤表示满足要求的记录通过该连接线传输数据。Excel输出组件导出最终数据2个excel输出组件分别命名为盈利订单和亏损订单并创建过滤记录组件到两个excel 输出组件的连接线在选择连接线类型的弹窗中分别选择True输出和False’输出True输出表示满足过滤条件的记录输出。False输出表示不满足过滤条件的记录输出。至此一个完整的转换任务流程构建完毕如下图所示2.8 配置组件信息2.8.1 表输入组件配置双击订单_详细订单表输入组件弹出组件配置页面。在数据库连接下拉框中选择已同步的线上公共数据源Readonly)如下图所示点击获取SQL查询语句自动生成SQL查询语句。点开线上公共数据源(Readonly)表目录下滑找到business_anaylsis.order_detail并点击它再点击确定系统自动填写了完整的SQL查询语句点击确认。当自动生成的SQL语句无法满足业务需求时也可以通过在文本框输入自定义SQL语句。表输入组件的其他配置参数保持默认即可。另一个订单_产品信息表输入也参考上述配置获取business_anaylsis.product的sQL查询语句2.8.2 记录集连接组件配置双击记录集连接组件在下拉列表中选择需要连接的数据来源第一个Transform选择订单_详细订单第二个Transform选择订单_产品信息连接类型选择LEFTOUTER点击第一个Transform的连接字段中的获得连接字段按钮即可获取表输入组件在订单_详细订单的查询到的字段同样的获取第二个Transform的连接字段第一个Transform字段保留 produc_id第二个Transform的字段保留 id连接类型选择LEFTOUTER表示使用订单_详细订单的字段 produc_id 与订单_产品信息的字段 id 进行左外连接第一个Transform字段中除了produc_id 外的其他字段右键点击删除选中的行第一个Transform字段中除了id外的其他字段右键点击删除选中的行2.8.3 字段选择组件配置1.双击移除产品ID_1字段字段选择组件点击移除并点击获取字段2.在获取的字段中选中除id字段以外的字段右键点击删除选中的行2.8.4 过滤记录组件配置1.选择字段利润profit来作为判断字段选中profit(Number)“后点击确定”2.0作为判断条件点击”“在函数中选择”“点击确定”3.点击value值类型选择Integer值输入o点击确定2.8.5 Excel输出组件配置1.将接收到的结果写入到Excel表中双击盈利订单excel表输出组件在配置弹窗中文件名修改为盈利订单选择文件拓展名xlsx[Excel 2007and above]”2.在配置弹窗中点击输出字段在空白表格处右键点击获取字段3.亏损订单的excel组件也进行同样的设置2.9 执行转换检查转换流中所有组件的连接是否正确无断连或错误连线点击画布上方的「执行」按钮启动转换流等待执行过程平台实时显示每个组件的执行进度与状态执行成功2.10 查看执行日志2.11 查看结果点击文件库右键根目录刷新可以看到转换任务的输出结果盈利订单和亏损订单可以右键下载查看三、实验结果3.1 数据输出结果本次实验成功生成了盈利订单.xlsx和亏损订单.xIsx文件实验成功实现了订单数据的关联与分流处理为后续的盈利分析提供了规范的数据基础。3.2 结果验证与分析数据完整性导出文件包含订单ID、订单状态、成本价、售价、订单数量、order_profit、利润区间共7个字段无缺失数据计算准确性随机抽取10条订单数据手动计算利润与分流分类与平台结果完全一致业务价值通过利润分流可快速识别平台订单的盈利结构低利润订单占比偏高后续可针对性优化定价或成本策略四、核心组件说明组件名称作用本次实验配置要点表输入从数据源中读取数据分别读取订单主表与明细表确保字段映射正确记录集连接关联多张表的数据实现数据合并使用内连接以订单ID为关联键保证数据匹配字段选择筛选、重命名、去除冗余字段仅保留订单利润计算所需字段简化数据结构过滤记录按条件剔除无效数据过滤出已完成状态的订单保证数据有效性字段计算基于现有字段生成新的计算字段实现订单利润的公式计算生成核心业务字段分流组件按条件对数据进行分支处理按利润区间将订单分为高、中、低三类实现分流需求Excel输出将处理后的数据导出为Excel文件配置导出路径、文件名与字段确保结果可下载查看五、问题与解决问题现象问题原因解决方法记录集连接后数据条数异常减少订单主表与明细表的订单ID存在不匹配的情况内连接剔除了不匹配数据1. 更换为左连接保留主表所有数据2. 检查数据源修正明细表中缺失的订单ID字段计算组件中利润计算结果为负数部分订单的成本价高于售价属于正常业务数据但前期未考虑到调整过滤条件新增“订单利润≥0”的筛选或保留负数订单标记为亏损订单单独分析Excel输出文件下载失败项目存储目录权限不足或输出组件配置的文件路径无效1. 更换为项目默认存储目录2. 重新配置输出组件使用平台推荐的文件路径格式转换流执行报错提示“字段不存在”字段选择组件中删除了后续计算所需的字段回溯组件配置恢复被误删的成本价、售价字段确保后续组件可正常调用六、实验总结6.1 实验收获掌握了助睿数智平台的基础操作流程包括项目创建、数据源同步、转换流设计与执行理解了ETL数据处理的核心逻辑能够运用零代码组件完成数据的抽取、清洗、转换与输出学会了订单利润计算与分流的业务处理方法掌握了数据过滤、字段计算、数据分类的平台操作提升了数据问题排查能力能够通过执行日志定位并解决组件配置、数据匹配等常见问题6.2 平台整体评价助睿数智平台的零代码数据处理功能非常友好适合零基础用户快速上手ETL流程组件化的设计降低了数据加工的技术门槛。平台内置的可视化配置与执行日志功能让数据处理过程清晰透明便于问题排查。但在复杂计算与大规模数据处理场景下仍需进一步优化性能与组件功能整体来说是商业数据分析入门的优质工具。话题标签#助睿数智#商业数据分析#订单分析#数据ETL