如果你正打算用30天从零基础进入数据分析这条线最需要提前想清楚的不是“先学Python还是先学Excel”也不是“最后能不能精通机器学习”而是把数据清洗、数据可视化、数据分析和数据挖掘这四件事的先后顺序算明白。很多人做了厚厚的收藏夹最后连一张干净的表都没做出来根本原因不是不够努力而是不知道每个阶段该做哪一种练习、做到什么程度算过关。这个方案我按每天投入2到3小时来设计。完全没有编程基础也可以走但前提是你愿意拿真实数据做练习而不是只跟着教程把代码抄一遍。30天结束后一个比较可靠的目标是拿到一份带缺失值、异常值和重复记录的Excel表你能独立完成清洗和预处理画出3到5张能回答业务问题的图表通过分组对比和简单模型找出关键特征最后产出一份带结论的分析报告。“逼自己30天”的关键不是每天喊口号而是每天有可验收的成果。下面我把这条路线按阶段拆开并补上每个阶段最容易踩的坑。1. 先算清楚30天到底能走到哪一步1.1 学习目标别写成“精通”要写成“完成一个分析闭环”从零基础到项目实战最忌讳一开始就把目标定为“精通数据分析、数据挖掘、数据可视化”。因为“精通”没有办法验收也没有办法指导你第二天该学什么。常见招聘需求里会写“会用SQL、Python、pandas有数据分析项目经验”但如果你不是拿这些关键词去堆学习清单而是用一个完整流程来组织最后会更容易形成作品。我更建议把30天目标写成一句话能对一份原始表格独立完成读入、数据清洗、描述统计、可视化、简单建模和结论输出。这句话听起来没有“精通”霸气但它能落地。零基础到项目实战的真实差距不是“会不会某个算法”而是“给你一份没整理过的数据你能不能从头到尾把它讲清楚”。数据分析、数据挖掘、数据清洗、数据可视化这些关键词在这个闭环里各占一段。1.2 五个阶段的板块和时间分配下面这张表是我建议的节奏不是法定安排。你可以按自己的时间做偏移但顺序不要乱。阶段时间主要任务可验收输出第一阶段第1-7天Python基础、pandas读入、描述统计能读CSV/Excel看懂shape、dtypes、describe第二阶段第8-15天数据清洗与预处理一份清洗后的数据文件并记录清洗规则第三阶段第16-20天数据可视化3到5张能解释业务问题的图第四阶段第21-26天数据分析与数据挖掘入门分组对比、基础可视化、一个简单分类/回归模型第五阶段第27-30天项目实战与复盘两个可以展示的分析项目为什么要这样排因为前两个阶段解决的是“数据能不能用”后面才解决“数据能说明什么”。很多初学者做项目做到一半发现结果不对回头检查才发现是清洗阶段漏掉了重复值、类型转换或异常值这种返工比慢一点学更浪费时间。1.3 环境和工具准备30天项目不需要一次性装一堆软件。工具越简单越容易坚持。建议先安装Python 稳定版本Jupyter Notebook 或 VS Codepandasmatplotlibseabornscikit-learnopenpyxl用于处理 Excel 文件如果你不知道该用哪个集成环境可以先用带 conda 的发行版再按提示安装这些库。不要追求最新版本能稳定运行、看得到运行结果就行。安装依赖时有一个常见教训不要从网上随便复制一段 pip 命令就执行也不要用管理员身份装一个和系统自带 Python 冲突的环境。创建一个独立的虚拟环境或者直接用集成环境的默认环境至少能减少一类“装完之后 import 失败”的问题。2. 第一阶段第1-7天先把数据读进来再做“可复核”的描述统计2.1 Python 基础只学“够用的边界”零基础入门很容易踩一个大坑学了太久语法连数据文件都还没打开过。其实在数据分析这个方向上第一个7天只需要把 Python 基础里最常用的部分拿过来用就够了。我认为必须掌握的内容是变量和基础类型列表、字典、元组的存取for循环和if判断写函数文件路径的基本概念简单的字符串处理暂时不必去死磕装饰器、生成器、面向对象设计模式。这些以后可以补但不是30天前7天的重点。前期最重要的事是尽快让一张真实表格进入 pandas。为什么建议“按需学语法”因为数据分析项目的反馈回路很短。当你把文件读出来、看到行数列数和统计信息时成就感会支撑你继续学如果先花两周刷语法题很多人会卡在“自己到底在学什么”的问题上。2.2 pandas 读入与第一次“数据体检”第3天到第4天可以完成一个最基础但必要的能力用 pandas 读入数据并做一次快速体检。我一般建议先读 CSV 文件因为它结构简单、通用性更强。import pandas as pd df pd.read_csv(data/orders.csv) print(df.shape) print(df.head()) print(df.dtypes) print(df.describe(includeall))这段代码虽然短但它已经把数据分析项目的“开口”做出来了。df.shape能告诉你数据有多少行、多少列。df.head()能让你看到字段长什么样。df.dtypes能暴露列类型是否正常。df.describe(includeall)能看到数值列、类别列的统计概况。读入后要做的第一件事不是画图而是判断“这份数据的口径是什么”。比如订单表里的金额是含税还是不含税时间字段是下单时间还是支付时间如果原始数据没有说明可以先把字段名和样例值记录下来。如果你拿到的文件是 Excel可以这样读df pd.read_excel(data/orders.xlsx, sheet_name订单明细)注意一点Excel 文件里的列名可能有空格、全角字符或换行符收到数据后先看df.columns.to_list()不要直接使用记忆中的字段名。2.3 第一次数据描述统计要“自己看得懂”这一周不要急着学复杂算法而是要把统计指标和业务含义对上。count代表非空值的数量如果比总行数少说明存在缺失。mean是平均值但如果有极端值平均值的参考价值会下降。std是标准差能看出数值波动程度。min、max能快速暴露异常值比如订单金额出现负数或超大值。我建议第一次练习时找一张几千行到几万行、列数在10到20列之间的表来试。不要一开始就找几百万行的“大数据”因为前期你还需要用肉眼核对结果。如果你完全不知道去哪找数据可以用公开的销售订单、电商订单、电影评分这类数据练手也可以把自己手头能拿到的成绩表、房租明细、通讯录等脱敏信息拿来练习。关键是选一个你熟悉业务背景的数据因为这样你能快速判断结果是否合理。2.4 用 Excel 交叉验证一次结果初学者经常犯一个错代码跑出来的数字都对不上业务却不知道问题出在哪。一个有效的办法是前期拿小样本数据把 pandas 统计结果和 Excel 透视表结果做一次交叉验证。具体操作可以这样用 pandas 筛选某一天的订单数据并计算销售额总和。用 Excel 打开原始文件筛选同一天的数据再用 SUM 函数求和。对比两个结果是否一致。为什么要做这一步因为数据分析里的很多错误不是代码写错而是“你以为读入的数据和你实际看到的数据不是同一份”。通过 Excel 校对一组关键数字你至少可以确认读入、筛选、聚合的逻辑没有大问题。第7天结束时用一张原始表完成“读入、查看、统计、导出”的完整小闭环可以比较简单也可以把导出后的 CSV 再打开检查一遍。3. 第二阶段第8-15天数据清洗和预处理不是附加题3.1 为什么真实的项目里清洗会占一半时间如果你搜过“数据分析 数据清洗 数据处理”相关的案例会发现大多数实战项目里最耗的不是建模而是处理脏数据。真实场景中的数据问题通常有这几种缺失值某个客户等级字段一半为空。重复行同一笔订单出现两次。格式不一致手机号有的带横线有的不带。错误类型日期读出来是字符串金额读出来是负数。异常值某用户单日消费比其他用户高几十倍可能是大客户也可能是刷单。命名不统一同一份表里列名一会儿是中文一会儿是拼音。如果你不专门留出时间练数据清洗后面做项目很可能被这些问题卡住。3.2 pandas 高频清洗动作照这张清单过一遍我常用的清洗流程是先看全貌再处理缺失、重复、类型、异常、命名最后输出干净数据。下面是一套可以套用的代码模板实际字段名要以你的数据为准。第一步检查缺失情况# 每个列缺失了多少、占比多少 print(df.isna().sum()) print(df.isna().mean().round(4))如果某列缺失率非常高比如超过一半就要判断这列是否还有保留价值。如果某列只是少量缺失比如订单备注字段缺失那可能代表用户本来就没填不需要盲目删除。第二步检查重复行print(df.duplicated().sum()) df_clean df.drop_duplicates().copy()使用.copy()的原因是不希望后续处理继续修改原始数据对象的引用。复制一份后面改错了还能重新来。第三步处理类型和日期# 把金额转成数值无法转换的变成缺失值 df[amount] pd.to_numeric(df[amount], errorscoerce) # 把日期列解析成标准时间 df[order_date] pd.to_datetime(df[order_date], errorscoerce) # 去掉列名两边的空格 df.columns [str(c).strip() for c in df.columns]这里要解释一下为什么加errorscoerce。真实数据里经常混着“暂无”“未知”这类文本直接to_numeric会报错用errorscoerce先把异常值转成 NaN再单独看这些异常值有没有业务意义会更安全。第四步处理异常值# 查看每个数值列的大致分位数 print(df_clean.describe()) # 筛选出金额小于0或明显不合理的记录 bad df_clean[df_clean[amount] 0] print(bad.head())面对异常值我一般不会直接删除而是先判断是录入错误是正常但极其少见的业务活动是单位不统一产生的错觉只有当证据明确是错误值时才考虑删除或修正。第五步按需选择列、重命名cols [order_id, user_id, order_date, category, amount] df_model df_clean[cols].copy() df_model df_model.rename(columns{ order_date: date, amount: sales_amount })清洗过程的最终结果不只包含一份干净数据还应该包含一份清洗说明。可以简单记几行注释什么规则下删除了重复行为什么某个字段填充了平均值哪些异常值被标记为“待核实”。3.3 清洗到什么程度算过关有人总觉得自己的清洗没做完其实可以用下面这张表回答。检查项判断标准常见问题缺失值已逐列查看缺失数量和占比并决定处理方式直接 dropna 全删重复值已查看重复数量已确认是按所有列去重还是按主键去重用错去重依据数据类型日期、金额、数值列类型正确日期仍是字符串列名无空格、无重复、可读性一致列名包含特殊字符异常值已筛选出可疑值并做处理或标记删除所有“看起来怪”的值可复现性清洗脚本能从头跑到尾只有手动修改过的Excel我见过太多案例拿到原始数据后第一件事就是df.dropna()。这会让分析结果严重失真。比如用户属性字段缺失不代表用户不存在订单金额为空可能是支付失败但订单记录仍然有效。删除空值前至少要问一句这个字段为什么为空3.4 清洗前先确认业务口径这周开始你要养成一个习惯打开一份数据先记录字段和统计口径再动手处理。比如“消费金额”这列单位是元还是万元统计时间是按自然月还是按账期订单是否包含退款记录如果在网上找公开数据练习不一定能拿到完整的口径文档。这时候可以把“你做的假设”写下来比如“假设amount列的单位是元只保留amount大于等于0的记录”。项目报告里写清楚假设比隐藏问题更像真实工作。4. 第三阶段第16-20天数据可视化先让图表回答业务问题4.1 为什么先不学复杂可视化大屏热词里能看到“企业级数据可视化”这类方向但30天计划不建议你第一周就扑到BI大屏或复杂交互图上。原因是数据可视化学习的核心不是“做出炫酷大屏”而是“通过图形发现数据规律、表达分析结论”。我建议第一阶段只学matplotlib和seaborn两种。它们和pandas配合最方便平时跑分析想输出图片时直接调用plt.savefig就可以。Excel和BI工具当然也可以但你至少要有一种能代码化、可复现的画图方式。4.2 图表不是越多越好要匹配问题这5天可以重点练下面几种图表它们是数据分析项目里最高频的组合你想回答的问题推荐图表检查要点某个指标随时间怎么变化折线图时间轴是否连续有没有缺失日期单个数值字段的分布直方图、箱线图是否偏斜有没有离群点不同类别之间的差异柱状图类别顺序是否合理两个数值字段的关系散点图、热力图是否存在非线性趋势整体构成和占比百分比条形图不要乱用饼图画图时一个最容易犯的错是“为了多展示一个维度把图堆得太密”。比如在像点图上叠加太多类别会造成视觉噪音。针对零基础学习者一张图解释一个核心问题是最安全的做法。4.3 一个可以直接用的绘图模板下面这段代码能帮你在第17天左右完成第一张标准图。import matplotlib.pyplot as plt import seaborn as sns # 比如分析不同商品类别的销量和销售额 plt.figure(figsize(10, 5)) # 画销售额的分布 plt.subplot(1, 2, 1) sns.histplot(datadf_clean, xsales_amount, bins30) plt.title(Sales Amount Distribution) # 画不同类别的销售额对比 plt.subplot(1, 2, 2) sns.boxplot(datadf_clean, xcategory, ysales_amount) plt.xticks(rotation45) plt.title(Sales Amount by Category) # 保存图片方便放进报告 plt.tight_layout() plt.savefig(output/eda_chart.png, dpi150, bbox_inchestight)画完之后有没有“读图验证”的步骤非常重要。看到直方图右偏时应该能说出来“少数大额订单拉高了均值”看到箱线图的上限外有点时应该能判断这些点是正常高端消费品还是异常值。4.4 可视化的下一步解释图而不是描述图只写“销售额分布直方图展示了销售额分布”等于没写。更好的写法是“销售额分布呈明显右偏中位数约80元说明大量订单集中在低价区间同时存在少数高金额订单后续分析需要单独判断是否属于团购或批发订单。”这周可以选一张已经画好的图练习用三句话解释图里能直接看见什么。这个现象可能是由什么业务原因导致的。如果要进一步分析下一步该看哪个字段。4.5 常见的可视化坑坐标轴截断柱状图从600开始截断会放大差距容易误导。颜色过花尽量用有限的颜色避免让读者被颜色干扰。饼图过多类别超过5个饼图往往很难读。不标轴标签只写标题不写横轴纵轴的含义别人根本看不懂。5. 第四阶段第21-26天数据分析和数据挖掘只做最重要的部分5.1 先把数据分析、数据挖掘、DE和DS的关系理顺很多学习路线里会提到“数据分析为什么是DE和DS”、“数据工程和数据科学”的对比。这个概念其实可以帮助你定位30天这个阶段你主要处在“数据分析数据挖掘入门”的位置。我用更直白的方式理解数据分析偏重描述和诊断回答“发生了什么”“为什么发生”。数据挖掘偏重从数据中挖掘结构、关联和预测信息比如分类、回归、聚类。数据工程偏重数据采集、管道、存储、调度让数据更可靠稳定地被使用。数据科学范围更广往往包括分析、建模、实验设计和结果落地。30天不要求你成为数据工程专家也不要求做出完整数据平台。你要做的是能用Python完成分析闭环并跑通一个简单模型。后面的职业路线是偏DS还是偏DE可以等30天之后再选。5.2 基础分析视角分组对比、交叉观察、时间趋势在跑模型之前先做基础分析。我通常会用groupby和pivot_table完成前几步探索。category_summary df_clean.groupby(category).agg( order_count(order_id, count), total_sales(sales_amount, sum), avg_sales(sales_amount, mean) ).reset_index() category_summary category_summary.sort_values(total_sales, ascendingFalse) print(category_summary)这段代码能立刻告诉你哪个品类的总销售额最高、单量最大、客单价如何。如果总销售额高但订单量很小说明这可能是高客单价低频品类不能和低价高频品类用同一套营销策略。也可以做二维交叉观察pivot df_clean.pivot_table( indexcategory, columnschannel, valuessales_amount, aggfuncsum, fill_value0 ) print(pivot)为什么要先做这一步因为在数据挖掘里如果把一堆特征直接丢进模型往往很难判断模型结果是否合理。先做分组和交叉分析是在帮你在动手建模前建立业务常识。5.3 跑通一个最简单的数据挖掘分类案例到了第23天左右可以尝试跑一个最基础的数据挖掘流程。这里推荐使用scikit-learn自带的数据集先跑通流程不要在还没熟悉流程时就去网上爬复杂数据。下面以鸢尾花分类为例它足够简单适合用来理解“训练集、测试集、模型、评估”这几个概念。from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report data load_iris(as_frameTrue) X data.data y data.target X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42 ) model LogisticRegression(max_iter200) model.fit(X_train, y_train) y_pred model.predict(X_test) print(model.score(X_test, y_test)) print(classification_report(y_test, y_pred))这段代码能跑通不代表你已经会数据挖掘了。你还需要能回答几个问题为什么要拆训练集和测试集而不是用同一份数据又训练又评估准确率能不能代表模型质量如果数据类别不平衡该看准确率还是召回率逻辑回归在这里为什么能分得比较好我建议不要在第26天之前急着调参。先把默认模型跑通再把数据换成你项目里清洗好的表试一次分类或回归。如果特征不是特别适合也没关系更重要的是理解建模流程。5.4 “重特征理解、轻调参”是新手最容易忽略的规则看到模型准确率低很多人第一反应是换算法、调参数。但在30天这个阶段我不建议这样做。更合理的排查顺序是先看数据清洗是否完成。再看特征是否有业务含义。再检查有没有泄漏也就是把未来信息或目标值本身当成了特征。最后才考虑换模型或调参数。在早期项目里你真正需要做的是建立一个baseline然后用它作为后续改进的参照。一旦陷入调参很容易把时间花在随机试错上。6. 第五阶段第27-30天用两个项目把整条路线串起来6.1 做项目不是“找一份新数据从头再看看”而是做出可交付结果最后四天的核心不是再学新工具而是把前26天学的东西串起来。你可以自己选的常见场景有电商订单分析、商业数据分析、通信行业数据分析等。下面给出两个项目模板字段可以替换成你手头资料。6.2 项目一电商订单数据分析目标从原始订单表中发现业务规律形成结论报告。建议数据字段order_iduser_idorder_datecategorysales_amountquantitychannel操作流程读入原始数据查看缺失、重复、类型。清洗日期、金额和类别字段。按时间汇总销售额观察趋势。按品类和渠道做分组对比。画2到3张支撑性图表。写出最终结论比如“哪个品类贡献主要销售额”“哪个渠道客单价更高”“高价值用户具备什么特征”。这个项目不需要建模单靠数据清洗和可视化也能做出很有价值的结果。关键是报告里的每个结论都要对应到一张图或一张统计表。6.3 项目二通信网络流量数据集的探索性分析与可视化这类题目在论文和研究中经常出现比如“基于Python的通信网络流量数据集数据分析与可视化研究”。如果你能找到与网络流量相关的公开数据可按下面的思路做字段通常包括时间、用户标识、地区、上行流量、下行流量、总时长等。先做清洗去除缺失值、重复记录统一时间和流量单位。分析流量随时间的变化找出高峰时段。对比不同用户群或地区的流量使用差异。检查是否存在异常流量记录比如下行流量为0但时长很长、流量值远高于平均水平。如果手边没有真实运营商数据不要随便下载来路不明或可能包含敏感信息的文件。可以用模拟数据、教学数据集先跑通流程然后在简历和报告里写清楚“这是学习场景下的模拟数据”避免误导。6.4 项目展示前要准备什么最后两天可以整理一个作品输出目录data/原始数据和清洗后数据scripts/代码和清洗说明output/图表和报告README.md项目背景、操作步骤、核心结论、如何运行README可以按以下结构写项目目标这套数据解决什么问题。数据处理做了哪些清洗步骤为什么这样做。分析过程主要图表和统计指标。最终结论你发现了什么建议采取什么动作。运行方式代码依赖和入口文件。如果你要准备数据分析岗位面试可以重点做以下自测缺失值有哪些处理方式各适合什么场景为什么要查看箱线图和直方图如果发现销售额均值远高于中位数你会怎么分析分类模型不看准确率该用什么指标如何判断两个字段是否相关这些问题都不需要背答案但需要在项目实操中形成自己的判断逻辑。能在白板前讲清楚自己做过的清洗和取舍比报出一堆模型名词更可信。7. 30天执行中的避坑清单7.1 每天的时间节奏建议固定下来如果每天真的只有2到3小时可以采用下面的节奏时间段内容说明前20分钟复盘昨天的代码和输出不重写只看关键结果中间60分钟学一个新知识点语法、函数、图表、模型均可再60分钟把当天知识点套到自己的项目数据上必须动手跑最后10分钟写一段当天小结记录做了什么、卡在哪这比“下午有空就看两个小时教程”更有效因为固定节奏能形成习惯。每周可以留半天不用学习新内容专门把之前没跑通的代码清掉。7.2 卡住之后按顺序排查问题数据分析学习里会遇到大量报错真正有效的做法不是立刻去搜报错原文而是先检查几个常见点报错信息里最先出现的是哪一行。代码里写的文件路径是否存在文件名是否正确。数据文件的编码是不是utf-8需不需要encodinggbk。列名是否复制错误有没有多余空格。有没有导入的库没有安装或装错环境。报错是不是数据本身造成的比如除数为零、空值参与计算。这个顺序很重要。很多初学者看到FileNotFoundError以为是代码问题最后发现是路径写错看到KeyError以为是pandas坏了最后发现列名多了一个空格。解决问题前先确认环境、路径和输入格式不要先怀疑算法原理。7.3 最后阶段最容易出现的三个问题第一个问题是一直等到第28天才开始写报告。写报告其实从第8天就可以同步积累。每做完一次清洗、每画出一张图就写几行备注最后整理起来会非常快。第二个问题报告里全是图没有结论。图表只是证据不是分析本身。每一张图都应该接一句“这说明什么”否则项目看起来像截图集。第三个问题害怕自己还没学SQL不敢展示项目。30天走完后SQL当然值得补但一个能跑通清洗、可视化、建模的Python项目已经比空有收藏列表强很多。后续补SQL可以和现有数据一起练不需要重新从零开始。7.4 30天结束后下一步往哪走如果你完成得比较顺利下一步可以根据职业方向选择偏业务数据分析继续补SQL和Excel/BI工具偏数据挖掘或数据科学继续学特征工程、模型评估和实验设计偏数据工程就应该开始了解数据管道、调度和数据仓库相关技术。不管选哪条路都建议你换一份新的数据集用同一套方法再走一遍。第一次走是学流程第二次走是练手感第三次走才算真正内化。如果给自己定一个30天计划我最想提醒的是每天少问一句“我学了多少”多问一句“我对这份数据的理解有没有比昨天更准确”。数据分析、数据挖掘、数据清洗和数据可视化最终都服务于一个目标让数据里的规律能被严肃地讲清楚。能完成这个目标本来就不是速成而是把一个好流程连续执行了30天。 30天从零进阶数据分析：清洗、可视化、挖掘与实战路线
如果你正打算用30天从零基础进入数据分析这条线最需要提前想清楚的不是“先学Python还是先学Excel”也不是“最后能不能精通机器学习”而是把数据清洗、数据可视化、数据分析和数据挖掘这四件事的先后顺序算明白。很多人做了厚厚的收藏夹最后连一张干净的表都没做出来根本原因不是不够努力而是不知道每个阶段该做哪一种练习、做到什么程度算过关。这个方案我按每天投入2到3小时来设计。完全没有编程基础也可以走但前提是你愿意拿真实数据做练习而不是只跟着教程把代码抄一遍。30天结束后一个比较可靠的目标是拿到一份带缺失值、异常值和重复记录的Excel表你能独立完成清洗和预处理画出3到5张能回答业务问题的图表通过分组对比和简单模型找出关键特征最后产出一份带结论的分析报告。“逼自己30天”的关键不是每天喊口号而是每天有可验收的成果。下面我把这条路线按阶段拆开并补上每个阶段最容易踩的坑。1. 先算清楚30天到底能走到哪一步1.1 学习目标别写成“精通”要写成“完成一个分析闭环”从零基础到项目实战最忌讳一开始就把目标定为“精通数据分析、数据挖掘、数据可视化”。因为“精通”没有办法验收也没有办法指导你第二天该学什么。常见招聘需求里会写“会用SQL、Python、pandas有数据分析项目经验”但如果你不是拿这些关键词去堆学习清单而是用一个完整流程来组织最后会更容易形成作品。我更建议把30天目标写成一句话能对一份原始表格独立完成读入、数据清洗、描述统计、可视化、简单建模和结论输出。这句话听起来没有“精通”霸气但它能落地。零基础到项目实战的真实差距不是“会不会某个算法”而是“给你一份没整理过的数据你能不能从头到尾把它讲清楚”。数据分析、数据挖掘、数据清洗、数据可视化这些关键词在这个闭环里各占一段。1.2 五个阶段的板块和时间分配下面这张表是我建议的节奏不是法定安排。你可以按自己的时间做偏移但顺序不要乱。阶段时间主要任务可验收输出第一阶段第1-7天Python基础、pandas读入、描述统计能读CSV/Excel看懂shape、dtypes、describe第二阶段第8-15天数据清洗与预处理一份清洗后的数据文件并记录清洗规则第三阶段第16-20天数据可视化3到5张能解释业务问题的图第四阶段第21-26天数据分析与数据挖掘入门分组对比、基础可视化、一个简单分类/回归模型第五阶段第27-30天项目实战与复盘两个可以展示的分析项目为什么要这样排因为前两个阶段解决的是“数据能不能用”后面才解决“数据能说明什么”。很多初学者做项目做到一半发现结果不对回头检查才发现是清洗阶段漏掉了重复值、类型转换或异常值这种返工比慢一点学更浪费时间。1.3 环境和工具准备30天项目不需要一次性装一堆软件。工具越简单越容易坚持。建议先安装Python 稳定版本Jupyter Notebook 或 VS Codepandasmatplotlibseabornscikit-learnopenpyxl用于处理 Excel 文件如果你不知道该用哪个集成环境可以先用带 conda 的发行版再按提示安装这些库。不要追求最新版本能稳定运行、看得到运行结果就行。安装依赖时有一个常见教训不要从网上随便复制一段 pip 命令就执行也不要用管理员身份装一个和系统自带 Python 冲突的环境。创建一个独立的虚拟环境或者直接用集成环境的默认环境至少能减少一类“装完之后 import 失败”的问题。2. 第一阶段第1-7天先把数据读进来再做“可复核”的描述统计2.1 Python 基础只学“够用的边界”零基础入门很容易踩一个大坑学了太久语法连数据文件都还没打开过。其实在数据分析这个方向上第一个7天只需要把 Python 基础里最常用的部分拿过来用就够了。我认为必须掌握的内容是变量和基础类型列表、字典、元组的存取for循环和if判断写函数文件路径的基本概念简单的字符串处理暂时不必去死磕装饰器、生成器、面向对象设计模式。这些以后可以补但不是30天前7天的重点。前期最重要的事是尽快让一张真实表格进入 pandas。为什么建议“按需学语法”因为数据分析项目的反馈回路很短。当你把文件读出来、看到行数列数和统计信息时成就感会支撑你继续学如果先花两周刷语法题很多人会卡在“自己到底在学什么”的问题上。2.2 pandas 读入与第一次“数据体检”第3天到第4天可以完成一个最基础但必要的能力用 pandas 读入数据并做一次快速体检。我一般建议先读 CSV 文件因为它结构简单、通用性更强。import pandas as pd df pd.read_csv(data/orders.csv) print(df.shape) print(df.head()) print(df.dtypes) print(df.describe(includeall))这段代码虽然短但它已经把数据分析项目的“开口”做出来了。df.shape能告诉你数据有多少行、多少列。df.head()能让你看到字段长什么样。df.dtypes能暴露列类型是否正常。df.describe(includeall)能看到数值列、类别列的统计概况。读入后要做的第一件事不是画图而是判断“这份数据的口径是什么”。比如订单表里的金额是含税还是不含税时间字段是下单时间还是支付时间如果原始数据没有说明可以先把字段名和样例值记录下来。如果你拿到的文件是 Excel可以这样读df pd.read_excel(data/orders.xlsx, sheet_name订单明细)注意一点Excel 文件里的列名可能有空格、全角字符或换行符收到数据后先看df.columns.to_list()不要直接使用记忆中的字段名。2.3 第一次数据描述统计要“自己看得懂”这一周不要急着学复杂算法而是要把统计指标和业务含义对上。count代表非空值的数量如果比总行数少说明存在缺失。mean是平均值但如果有极端值平均值的参考价值会下降。std是标准差能看出数值波动程度。min、max能快速暴露异常值比如订单金额出现负数或超大值。我建议第一次练习时找一张几千行到几万行、列数在10到20列之间的表来试。不要一开始就找几百万行的“大数据”因为前期你还需要用肉眼核对结果。如果你完全不知道去哪找数据可以用公开的销售订单、电商订单、电影评分这类数据练手也可以把自己手头能拿到的成绩表、房租明细、通讯录等脱敏信息拿来练习。关键是选一个你熟悉业务背景的数据因为这样你能快速判断结果是否合理。2.4 用 Excel 交叉验证一次结果初学者经常犯一个错代码跑出来的数字都对不上业务却不知道问题出在哪。一个有效的办法是前期拿小样本数据把 pandas 统计结果和 Excel 透视表结果做一次交叉验证。具体操作可以这样用 pandas 筛选某一天的订单数据并计算销售额总和。用 Excel 打开原始文件筛选同一天的数据再用 SUM 函数求和。对比两个结果是否一致。为什么要做这一步因为数据分析里的很多错误不是代码写错而是“你以为读入的数据和你实际看到的数据不是同一份”。通过 Excel 校对一组关键数字你至少可以确认读入、筛选、聚合的逻辑没有大问题。第7天结束时用一张原始表完成“读入、查看、统计、导出”的完整小闭环可以比较简单也可以把导出后的 CSV 再打开检查一遍。3. 第二阶段第8-15天数据清洗和预处理不是附加题3.1 为什么真实的项目里清洗会占一半时间如果你搜过“数据分析 数据清洗 数据处理”相关的案例会发现大多数实战项目里最耗的不是建模而是处理脏数据。真实场景中的数据问题通常有这几种缺失值某个客户等级字段一半为空。重复行同一笔订单出现两次。格式不一致手机号有的带横线有的不带。错误类型日期读出来是字符串金额读出来是负数。异常值某用户单日消费比其他用户高几十倍可能是大客户也可能是刷单。命名不统一同一份表里列名一会儿是中文一会儿是拼音。如果你不专门留出时间练数据清洗后面做项目很可能被这些问题卡住。3.2 pandas 高频清洗动作照这张清单过一遍我常用的清洗流程是先看全貌再处理缺失、重复、类型、异常、命名最后输出干净数据。下面是一套可以套用的代码模板实际字段名要以你的数据为准。第一步检查缺失情况# 每个列缺失了多少、占比多少 print(df.isna().sum()) print(df.isna().mean().round(4))如果某列缺失率非常高比如超过一半就要判断这列是否还有保留价值。如果某列只是少量缺失比如订单备注字段缺失那可能代表用户本来就没填不需要盲目删除。第二步检查重复行print(df.duplicated().sum()) df_clean df.drop_duplicates().copy()使用.copy()的原因是不希望后续处理继续修改原始数据对象的引用。复制一份后面改错了还能重新来。第三步处理类型和日期# 把金额转成数值无法转换的变成缺失值 df[amount] pd.to_numeric(df[amount], errorscoerce) # 把日期列解析成标准时间 df[order_date] pd.to_datetime(df[order_date], errorscoerce) # 去掉列名两边的空格 df.columns [str(c).strip() for c in df.columns]这里要解释一下为什么加errorscoerce。真实数据里经常混着“暂无”“未知”这类文本直接to_numeric会报错用errorscoerce先把异常值转成 NaN再单独看这些异常值有没有业务意义会更安全。第四步处理异常值# 查看每个数值列的大致分位数 print(df_clean.describe()) # 筛选出金额小于0或明显不合理的记录 bad df_clean[df_clean[amount] 0] print(bad.head())面对异常值我一般不会直接删除而是先判断是录入错误是正常但极其少见的业务活动是单位不统一产生的错觉只有当证据明确是错误值时才考虑删除或修正。第五步按需选择列、重命名cols [order_id, user_id, order_date, category, amount] df_model df_clean[cols].copy() df_model df_model.rename(columns{ order_date: date, amount: sales_amount })清洗过程的最终结果不只包含一份干净数据还应该包含一份清洗说明。可以简单记几行注释什么规则下删除了重复行为什么某个字段填充了平均值哪些异常值被标记为“待核实”。3.3 清洗到什么程度算过关有人总觉得自己的清洗没做完其实可以用下面这张表回答。检查项判断标准常见问题缺失值已逐列查看缺失数量和占比并决定处理方式直接 dropna 全删重复值已查看重复数量已确认是按所有列去重还是按主键去重用错去重依据数据类型日期、金额、数值列类型正确日期仍是字符串列名无空格、无重复、可读性一致列名包含特殊字符异常值已筛选出可疑值并做处理或标记删除所有“看起来怪”的值可复现性清洗脚本能从头跑到尾只有手动修改过的Excel我见过太多案例拿到原始数据后第一件事就是df.dropna()。这会让分析结果严重失真。比如用户属性字段缺失不代表用户不存在订单金额为空可能是支付失败但订单记录仍然有效。删除空值前至少要问一句这个字段为什么为空3.4 清洗前先确认业务口径这周开始你要养成一个习惯打开一份数据先记录字段和统计口径再动手处理。比如“消费金额”这列单位是元还是万元统计时间是按自然月还是按账期订单是否包含退款记录如果在网上找公开数据练习不一定能拿到完整的口径文档。这时候可以把“你做的假设”写下来比如“假设amount列的单位是元只保留amount大于等于0的记录”。项目报告里写清楚假设比隐藏问题更像真实工作。4. 第三阶段第16-20天数据可视化先让图表回答业务问题4.1 为什么先不学复杂可视化大屏热词里能看到“企业级数据可视化”这类方向但30天计划不建议你第一周就扑到BI大屏或复杂交互图上。原因是数据可视化学习的核心不是“做出炫酷大屏”而是“通过图形发现数据规律、表达分析结论”。我建议第一阶段只学matplotlib和seaborn两种。它们和pandas配合最方便平时跑分析想输出图片时直接调用plt.savefig就可以。Excel和BI工具当然也可以但你至少要有一种能代码化、可复现的画图方式。4.2 图表不是越多越好要匹配问题这5天可以重点练下面几种图表它们是数据分析项目里最高频的组合你想回答的问题推荐图表检查要点某个指标随时间怎么变化折线图时间轴是否连续有没有缺失日期单个数值字段的分布直方图、箱线图是否偏斜有没有离群点不同类别之间的差异柱状图类别顺序是否合理两个数值字段的关系散点图、热力图是否存在非线性趋势整体构成和占比百分比条形图不要乱用饼图画图时一个最容易犯的错是“为了多展示一个维度把图堆得太密”。比如在像点图上叠加太多类别会造成视觉噪音。针对零基础学习者一张图解释一个核心问题是最安全的做法。4.3 一个可以直接用的绘图模板下面这段代码能帮你在第17天左右完成第一张标准图。import matplotlib.pyplot as plt import seaborn as sns # 比如分析不同商品类别的销量和销售额 plt.figure(figsize(10, 5)) # 画销售额的分布 plt.subplot(1, 2, 1) sns.histplot(datadf_clean, xsales_amount, bins30) plt.title(Sales Amount Distribution) # 画不同类别的销售额对比 plt.subplot(1, 2, 2) sns.boxplot(datadf_clean, xcategory, ysales_amount) plt.xticks(rotation45) plt.title(Sales Amount by Category) # 保存图片方便放进报告 plt.tight_layout() plt.savefig(output/eda_chart.png, dpi150, bbox_inchestight)画完之后有没有“读图验证”的步骤非常重要。看到直方图右偏时应该能说出来“少数大额订单拉高了均值”看到箱线图的上限外有点时应该能判断这些点是正常高端消费品还是异常值。4.4 可视化的下一步解释图而不是描述图只写“销售额分布直方图展示了销售额分布”等于没写。更好的写法是“销售额分布呈明显右偏中位数约80元说明大量订单集中在低价区间同时存在少数高金额订单后续分析需要单独判断是否属于团购或批发订单。”这周可以选一张已经画好的图练习用三句话解释图里能直接看见什么。这个现象可能是由什么业务原因导致的。如果要进一步分析下一步该看哪个字段。4.5 常见的可视化坑坐标轴截断柱状图从600开始截断会放大差距容易误导。颜色过花尽量用有限的颜色避免让读者被颜色干扰。饼图过多类别超过5个饼图往往很难读。不标轴标签只写标题不写横轴纵轴的含义别人根本看不懂。5. 第四阶段第21-26天数据分析和数据挖掘只做最重要的部分5.1 先把数据分析、数据挖掘、DE和DS的关系理顺很多学习路线里会提到“数据分析为什么是DE和DS”、“数据工程和数据科学”的对比。这个概念其实可以帮助你定位30天这个阶段你主要处在“数据分析数据挖掘入门”的位置。我用更直白的方式理解数据分析偏重描述和诊断回答“发生了什么”“为什么发生”。数据挖掘偏重从数据中挖掘结构、关联和预测信息比如分类、回归、聚类。数据工程偏重数据采集、管道、存储、调度让数据更可靠稳定地被使用。数据科学范围更广往往包括分析、建模、实验设计和结果落地。30天不要求你成为数据工程专家也不要求做出完整数据平台。你要做的是能用Python完成分析闭环并跑通一个简单模型。后面的职业路线是偏DS还是偏DE可以等30天之后再选。5.2 基础分析视角分组对比、交叉观察、时间趋势在跑模型之前先做基础分析。我通常会用groupby和pivot_table完成前几步探索。category_summary df_clean.groupby(category).agg( order_count(order_id, count), total_sales(sales_amount, sum), avg_sales(sales_amount, mean) ).reset_index() category_summary category_summary.sort_values(total_sales, ascendingFalse) print(category_summary)这段代码能立刻告诉你哪个品类的总销售额最高、单量最大、客单价如何。如果总销售额高但订单量很小说明这可能是高客单价低频品类不能和低价高频品类用同一套营销策略。也可以做二维交叉观察pivot df_clean.pivot_table( indexcategory, columnschannel, valuessales_amount, aggfuncsum, fill_value0 ) print(pivot)为什么要先做这一步因为在数据挖掘里如果把一堆特征直接丢进模型往往很难判断模型结果是否合理。先做分组和交叉分析是在帮你在动手建模前建立业务常识。5.3 跑通一个最简单的数据挖掘分类案例到了第23天左右可以尝试跑一个最基础的数据挖掘流程。这里推荐使用scikit-learn自带的数据集先跑通流程不要在还没熟悉流程时就去网上爬复杂数据。下面以鸢尾花分类为例它足够简单适合用来理解“训练集、测试集、模型、评估”这几个概念。from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report data load_iris(as_frameTrue) X data.data y data.target X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_state42 ) model LogisticRegression(max_iter200) model.fit(X_train, y_train) y_pred model.predict(X_test) print(model.score(X_test, y_test)) print(classification_report(y_test, y_pred))这段代码能跑通不代表你已经会数据挖掘了。你还需要能回答几个问题为什么要拆训练集和测试集而不是用同一份数据又训练又评估准确率能不能代表模型质量如果数据类别不平衡该看准确率还是召回率逻辑回归在这里为什么能分得比较好我建议不要在第26天之前急着调参。先把默认模型跑通再把数据换成你项目里清洗好的表试一次分类或回归。如果特征不是特别适合也没关系更重要的是理解建模流程。5.4 “重特征理解、轻调参”是新手最容易忽略的规则看到模型准确率低很多人第一反应是换算法、调参数。但在30天这个阶段我不建议这样做。更合理的排查顺序是先看数据清洗是否完成。再看特征是否有业务含义。再检查有没有泄漏也就是把未来信息或目标值本身当成了特征。最后才考虑换模型或调参数。在早期项目里你真正需要做的是建立一个baseline然后用它作为后续改进的参照。一旦陷入调参很容易把时间花在随机试错上。6. 第五阶段第27-30天用两个项目把整条路线串起来6.1 做项目不是“找一份新数据从头再看看”而是做出可交付结果最后四天的核心不是再学新工具而是把前26天学的东西串起来。你可以自己选的常见场景有电商订单分析、商业数据分析、通信行业数据分析等。下面给出两个项目模板字段可以替换成你手头资料。6.2 项目一电商订单数据分析目标从原始订单表中发现业务规律形成结论报告。建议数据字段order_iduser_idorder_datecategorysales_amountquantitychannel操作流程读入原始数据查看缺失、重复、类型。清洗日期、金额和类别字段。按时间汇总销售额观察趋势。按品类和渠道做分组对比。画2到3张支撑性图表。写出最终结论比如“哪个品类贡献主要销售额”“哪个渠道客单价更高”“高价值用户具备什么特征”。这个项目不需要建模单靠数据清洗和可视化也能做出很有价值的结果。关键是报告里的每个结论都要对应到一张图或一张统计表。6.3 项目二通信网络流量数据集的探索性分析与可视化这类题目在论文和研究中经常出现比如“基于Python的通信网络流量数据集数据分析与可视化研究”。如果你能找到与网络流量相关的公开数据可按下面的思路做字段通常包括时间、用户标识、地区、上行流量、下行流量、总时长等。先做清洗去除缺失值、重复记录统一时间和流量单位。分析流量随时间的变化找出高峰时段。对比不同用户群或地区的流量使用差异。检查是否存在异常流量记录比如下行流量为0但时长很长、流量值远高于平均水平。如果手边没有真实运营商数据不要随便下载来路不明或可能包含敏感信息的文件。可以用模拟数据、教学数据集先跑通流程然后在简历和报告里写清楚“这是学习场景下的模拟数据”避免误导。6.4 项目展示前要准备什么最后两天可以整理一个作品输出目录data/原始数据和清洗后数据scripts/代码和清洗说明output/图表和报告README.md项目背景、操作步骤、核心结论、如何运行README可以按以下结构写项目目标这套数据解决什么问题。数据处理做了哪些清洗步骤为什么这样做。分析过程主要图表和统计指标。最终结论你发现了什么建议采取什么动作。运行方式代码依赖和入口文件。如果你要准备数据分析岗位面试可以重点做以下自测缺失值有哪些处理方式各适合什么场景为什么要查看箱线图和直方图如果发现销售额均值远高于中位数你会怎么分析分类模型不看准确率该用什么指标如何判断两个字段是否相关这些问题都不需要背答案但需要在项目实操中形成自己的判断逻辑。能在白板前讲清楚自己做过的清洗和取舍比报出一堆模型名词更可信。7. 30天执行中的避坑清单7.1 每天的时间节奏建议固定下来如果每天真的只有2到3小时可以采用下面的节奏时间段内容说明前20分钟复盘昨天的代码和输出不重写只看关键结果中间60分钟学一个新知识点语法、函数、图表、模型均可再60分钟把当天知识点套到自己的项目数据上必须动手跑最后10分钟写一段当天小结记录做了什么、卡在哪这比“下午有空就看两个小时教程”更有效因为固定节奏能形成习惯。每周可以留半天不用学习新内容专门把之前没跑通的代码清掉。7.2 卡住之后按顺序排查问题数据分析学习里会遇到大量报错真正有效的做法不是立刻去搜报错原文而是先检查几个常见点报错信息里最先出现的是哪一行。代码里写的文件路径是否存在文件名是否正确。数据文件的编码是不是utf-8需不需要encodinggbk。列名是否复制错误有没有多余空格。有没有导入的库没有安装或装错环境。报错是不是数据本身造成的比如除数为零、空值参与计算。这个顺序很重要。很多初学者看到FileNotFoundError以为是代码问题最后发现是路径写错看到KeyError以为是pandas坏了最后发现列名多了一个空格。解决问题前先确认环境、路径和输入格式不要先怀疑算法原理。7.3 最后阶段最容易出现的三个问题第一个问题是一直等到第28天才开始写报告。写报告其实从第8天就可以同步积累。每做完一次清洗、每画出一张图就写几行备注最后整理起来会非常快。第二个问题报告里全是图没有结论。图表只是证据不是分析本身。每一张图都应该接一句“这说明什么”否则项目看起来像截图集。第三个问题害怕自己还没学SQL不敢展示项目。30天走完后SQL当然值得补但一个能跑通清洗、可视化、建模的Python项目已经比空有收藏列表强很多。后续补SQL可以和现有数据一起练不需要重新从零开始。7.4 30天结束后下一步往哪走如果你完成得比较顺利下一步可以根据职业方向选择偏业务数据分析继续补SQL和Excel/BI工具偏数据挖掘或数据科学继续学特征工程、模型评估和实验设计偏数据工程就应该开始了解数据管道、调度和数据仓库相关技术。不管选哪条路都建议你换一份新的数据集用同一套方法再走一遍。第一次走是学流程第二次走是练手感第三次走才算真正内化。如果给自己定一个30天计划我最想提醒的是每天少问一句“我学了多少”多问一句“我对这份数据的理解有没有比昨天更准确”。数据分析、数据挖掘、数据清洗和数据可视化最终都服务于一个目标让数据里的规律能被严肃地讲清楚。能完成这个目标本来就不是速成而是把一个好流程连续执行了30天。