KDD-99数据集实战用Python从零搭建网络入侵检测模型附完整代码在网络安全领域入侵检测系统IDS就像是一位不知疲倦的哨兵24小时监控着网络流量中的异常行为。而KDD-99数据集则是训练这位哨兵的最佳教材之一。本文将带你从数据清洗到模型部署完整实现一个基于机器学习的网络入侵检测系统。1. 环境准备与数据加载工欲善其事必先利其器。在开始之前我们需要准备好Python环境和必要的库。推荐使用Python 3.8版本并安装以下依赖pip install numpy pandas scikit-learn matplotlib seabornKDD-99数据集可以从UCI机器学习仓库获取。这个数据集包含了模拟军事网络环境中收集的约490,000条网络连接记录每条记录有41个特征和1个标签正常或攻击类型。import pandas as pd import numpy as np from sklearn.preprocessing import MinMaxScaler, LabelEncoder # 加载数据集 columns [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, label ] df pd.read_csv(kddcup.data_10_percent.gz, namescolumns)提示完整数据集较大初次尝试可以使用10%的子集约50万条记录。生产环境建议使用完整数据集以获得更好的模型性能。2. 数据清洗与特征工程原始数据往往不够干净我们需要进行一系列预处理才能喂给机器学习模型。KDD-99数据集的主要问题包括大量冗余记录约50%数值特征尺度差异大分类特征需要编码类别不平衡2.1 去除冗余与缺失值处理# 去除完全重复的记录 df df.drop_duplicates() print(f去重后记录数: {len(df)}) # 检查缺失值 print(df.isnull().sum())2.2 特征编码与标准化数据集包含三种类型的特征数值型特征如duration, src_bytes分类特征如protocol_type, service二元特征如logged_in# 分离数值和分类特征 numeric_cols df.select_dtypes(include[np.number]).columns.tolist() categorical_cols [protocol_type, service, flag] # 标准化数值特征 scaler MinMaxScaler() df[numeric_cols] scaler.fit_transform(df[numeric_cols]) # 编码分类特征 label_encoder LabelEncoder() for col in categorical_cols: df[col] label_encoder.fit_transform(df[col]) # 简化标签将23种攻击类型归为4大类 attack_types { normal: normal, back: dos, land: dos, neptune: dos, pod: dos, smurf: dos, teardrop: dos, ipsweep: probe, nmap: probe, portsweep: probe, satan: probe, ftp_write: r2l, guess_passwd: r2l, imap: r2l, multihop: r2l, phf: r2l, spy: r2l, warezclient: r2l, warezmaster: r2l, buffer_overflow: u2r, loadmodule: u2r, perl: u2r, rootkit: u2r } df[label] df[label].apply(lambda x: attack_types[x.strip()] if x.strip() in attack_types else unknown)2.3 特征选择41个特征中有些对分类贡献不大反而会增加计算负担。我们使用随机森林进行特征重要性评估from sklearn.ensemble import RandomForestClassifier from sklearn.feature_selection import SelectFromModel # 准备训练数据 X df.drop(label, axis1) y df[label] # 特征选择 selector SelectFromModel(RandomForestClassifier(n_estimators100, random_state42)) selector.fit(X, y) selected_features X.columns[selector.get_support()] print(f重要特征: {list(selected_features)})3. 模型训练与评估我们尝试三种经典算法随机森林、梯度提升树和神经网络比较它们在入侵检测任务上的表现。3.1 数据分割from sklearn.model_selection import train_test_split # 使用选定的特征 X_selected X[selected_features] # 分割数据集 X_train, X_test, y_train, y_test train_test_split( X_selected, y, test_size0.3, random_state42, stratifyy )3.2 随机森林模型from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix rf RandomForestClassifier( n_estimators200, max_depth15, min_samples_split5, random_state42, class_weightbalanced ) rf.fit(X_train, y_train) y_pred rf.predict(X_test) print(随机森林性能报告:) print(classification_report(y_test, y_pred))3.3 梯度提升树(XGBoost)from xgboost import XGBClassifier xgb XGBClassifier( n_estimators150, max_depth10, learning_rate0.1, subsample0.8, colsample_bytree0.8, random_state42, scale_pos_weightlen(y_train[y_trainnormal])/len(y_train[y_train!normal]) ) xgb.fit(X_train, y_train) y_pred_xgb xgb.predict(X_test) print(XGBoost性能报告:) print(classification_report(y_test, y_pred_xgb))3.4 神经网络模型对于更复杂的模式识别我们可以尝试简单的神经网络from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout from tensorflow.keras.utils import to_categorical # 编码标签 label_encoder LabelEncoder() y_train_encoded label_encoder.fit_transform(y_train) y_test_encoded label_encoder.transform(y_test) y_train_onehot to_categorical(y_train_encoded) y_test_onehot to_categorical(y_test_encoded) # 构建模型 model Sequential([ Dense(64, activationrelu, input_shape(X_train.shape[1],)), Dropout(0.3), Dense(32, activationrelu), Dropout(0.2), Dense(len(label_encoder.classes_), activationsoftmax) ]) model.compile( optimizeradam, losscategorical_crossentropy, metrics[accuracy] ) # 训练 history model.fit( X_train, y_train_onehot, epochs20, batch_size256, validation_data(X_test, y_test_onehot), verbose1 )3.5 模型比较我们通过准确率、召回率和F1分数来评估模型性能模型准确率加权召回率加权F1分数训练时间随机森林0.9820.9810.98145sXGBoost0.9850.9840.98462s神经网络0.9760.9750.9753min注意实际应用中对攻击类型的召回率比整体准确率更重要。可以针对特定攻击类型调整模型参数。4. 模型优化与部署获得基础模型后我们需要进一步优化并将其部署为可用的检测系统。4.1 超参数调优使用GridSearchCV对随机森林进行参数优化from sklearn.model_selection import GridSearchCV param_grid { n_estimators: [100, 200, 300], max_depth: [10, 15, 20], min_samples_split: [2, 5, 10], class_weight: [balanced, None] } grid_search GridSearchCV( RandomForestClassifier(random_state42), param_grid, cv3, scoringf1_weighted, n_jobs-1, verbose1 ) grid_search.fit(X_train, y_train) print(f最佳参数: {grid_search.best_params_})4.2 实时检测系统设计将训练好的模型封装为实时检测服务import pickle from flask import Flask, request, jsonify # 保存模型和预处理对象 with open(ids_model.pkl, wb) as f: pickle.dump({ model: grid_search.best_estimator_, scaler: scaler, label_encoder: label_encoder, feature_selector: selector }, f) # 创建Flask应用 app Flask(__name__) app.route(/detect, methods[POST]) def detect(): data request.json df pd.DataFrame([data]) # 预处理 df[numeric_cols] scaler.transform(df[numeric_cols]) for col in categorical_cols: df[col] label_encoder.transform(df[col]) # 特征选择 X df[selected_features] # 预测 prediction model.predict(X)[0] probability model.predict_proba(X).max() return jsonify({ attack_type: prediction, probability: float(probability), is_attack: prediction ! normal }) if __name__ __main__: app.run(host0.0.0.0, port5000)4.3 性能监控与模型更新部署后需要持续监控模型表现def monitor_model_performance(): # 收集新数据 new_data get_new_network_data() # 预处理 new_X, new_y preprocess_data(new_data) # 评估当前模型 current_score f1_score(new_y, model.predict(new_X), averageweighted) # 如果性能下降超过阈值重新训练 if current_score performance_threshold: retrain_model() # 记录性能指标 log_performance_metrics(current_score)在实际项目中网络攻击模式会不断演变因此定期用新数据重新训练模型至关重要。建议设置自动化流程每月或当检测性能下降时自动触发模型更新。
KDD-99数据集实战：用Python从零搭建网络入侵检测模型（附完整代码）
发布时间：2026/6/18 10:30:35
KDD-99数据集实战用Python从零搭建网络入侵检测模型附完整代码在网络安全领域入侵检测系统IDS就像是一位不知疲倦的哨兵24小时监控着网络流量中的异常行为。而KDD-99数据集则是训练这位哨兵的最佳教材之一。本文将带你从数据清洗到模型部署完整实现一个基于机器学习的网络入侵检测系统。1. 环境准备与数据加载工欲善其事必先利其器。在开始之前我们需要准备好Python环境和必要的库。推荐使用Python 3.8版本并安装以下依赖pip install numpy pandas scikit-learn matplotlib seabornKDD-99数据集可以从UCI机器学习仓库获取。这个数据集包含了模拟军事网络环境中收集的约490,000条网络连接记录每条记录有41个特征和1个标签正常或攻击类型。import pandas as pd import numpy as np from sklearn.preprocessing import MinMaxScaler, LabelEncoder # 加载数据集 columns [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, label ] df pd.read_csv(kddcup.data_10_percent.gz, namescolumns)提示完整数据集较大初次尝试可以使用10%的子集约50万条记录。生产环境建议使用完整数据集以获得更好的模型性能。2. 数据清洗与特征工程原始数据往往不够干净我们需要进行一系列预处理才能喂给机器学习模型。KDD-99数据集的主要问题包括大量冗余记录约50%数值特征尺度差异大分类特征需要编码类别不平衡2.1 去除冗余与缺失值处理# 去除完全重复的记录 df df.drop_duplicates() print(f去重后记录数: {len(df)}) # 检查缺失值 print(df.isnull().sum())2.2 特征编码与标准化数据集包含三种类型的特征数值型特征如duration, src_bytes分类特征如protocol_type, service二元特征如logged_in# 分离数值和分类特征 numeric_cols df.select_dtypes(include[np.number]).columns.tolist() categorical_cols [protocol_type, service, flag] # 标准化数值特征 scaler MinMaxScaler() df[numeric_cols] scaler.fit_transform(df[numeric_cols]) # 编码分类特征 label_encoder LabelEncoder() for col in categorical_cols: df[col] label_encoder.fit_transform(df[col]) # 简化标签将23种攻击类型归为4大类 attack_types { normal: normal, back: dos, land: dos, neptune: dos, pod: dos, smurf: dos, teardrop: dos, ipsweep: probe, nmap: probe, portsweep: probe, satan: probe, ftp_write: r2l, guess_passwd: r2l, imap: r2l, multihop: r2l, phf: r2l, spy: r2l, warezclient: r2l, warezmaster: r2l, buffer_overflow: u2r, loadmodule: u2r, perl: u2r, rootkit: u2r } df[label] df[label].apply(lambda x: attack_types[x.strip()] if x.strip() in attack_types else unknown)2.3 特征选择41个特征中有些对分类贡献不大反而会增加计算负担。我们使用随机森林进行特征重要性评估from sklearn.ensemble import RandomForestClassifier from sklearn.feature_selection import SelectFromModel # 准备训练数据 X df.drop(label, axis1) y df[label] # 特征选择 selector SelectFromModel(RandomForestClassifier(n_estimators100, random_state42)) selector.fit(X, y) selected_features X.columns[selector.get_support()] print(f重要特征: {list(selected_features)})3. 模型训练与评估我们尝试三种经典算法随机森林、梯度提升树和神经网络比较它们在入侵检测任务上的表现。3.1 数据分割from sklearn.model_selection import train_test_split # 使用选定的特征 X_selected X[selected_features] # 分割数据集 X_train, X_test, y_train, y_test train_test_split( X_selected, y, test_size0.3, random_state42, stratifyy )3.2 随机森林模型from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix rf RandomForestClassifier( n_estimators200, max_depth15, min_samples_split5, random_state42, class_weightbalanced ) rf.fit(X_train, y_train) y_pred rf.predict(X_test) print(随机森林性能报告:) print(classification_report(y_test, y_pred))3.3 梯度提升树(XGBoost)from xgboost import XGBClassifier xgb XGBClassifier( n_estimators150, max_depth10, learning_rate0.1, subsample0.8, colsample_bytree0.8, random_state42, scale_pos_weightlen(y_train[y_trainnormal])/len(y_train[y_train!normal]) ) xgb.fit(X_train, y_train) y_pred_xgb xgb.predict(X_test) print(XGBoost性能报告:) print(classification_report(y_test, y_pred_xgb))3.4 神经网络模型对于更复杂的模式识别我们可以尝试简单的神经网络from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout from tensorflow.keras.utils import to_categorical # 编码标签 label_encoder LabelEncoder() y_train_encoded label_encoder.fit_transform(y_train) y_test_encoded label_encoder.transform(y_test) y_train_onehot to_categorical(y_train_encoded) y_test_onehot to_categorical(y_test_encoded) # 构建模型 model Sequential([ Dense(64, activationrelu, input_shape(X_train.shape[1],)), Dropout(0.3), Dense(32, activationrelu), Dropout(0.2), Dense(len(label_encoder.classes_), activationsoftmax) ]) model.compile( optimizeradam, losscategorical_crossentropy, metrics[accuracy] ) # 训练 history model.fit( X_train, y_train_onehot, epochs20, batch_size256, validation_data(X_test, y_test_onehot), verbose1 )3.5 模型比较我们通过准确率、召回率和F1分数来评估模型性能模型准确率加权召回率加权F1分数训练时间随机森林0.9820.9810.98145sXGBoost0.9850.9840.98462s神经网络0.9760.9750.9753min注意实际应用中对攻击类型的召回率比整体准确率更重要。可以针对特定攻击类型调整模型参数。4. 模型优化与部署获得基础模型后我们需要进一步优化并将其部署为可用的检测系统。4.1 超参数调优使用GridSearchCV对随机森林进行参数优化from sklearn.model_selection import GridSearchCV param_grid { n_estimators: [100, 200, 300], max_depth: [10, 15, 20], min_samples_split: [2, 5, 10], class_weight: [balanced, None] } grid_search GridSearchCV( RandomForestClassifier(random_state42), param_grid, cv3, scoringf1_weighted, n_jobs-1, verbose1 ) grid_search.fit(X_train, y_train) print(f最佳参数: {grid_search.best_params_})4.2 实时检测系统设计将训练好的模型封装为实时检测服务import pickle from flask import Flask, request, jsonify # 保存模型和预处理对象 with open(ids_model.pkl, wb) as f: pickle.dump({ model: grid_search.best_estimator_, scaler: scaler, label_encoder: label_encoder, feature_selector: selector }, f) # 创建Flask应用 app Flask(__name__) app.route(/detect, methods[POST]) def detect(): data request.json df pd.DataFrame([data]) # 预处理 df[numeric_cols] scaler.transform(df[numeric_cols]) for col in categorical_cols: df[col] label_encoder.transform(df[col]) # 特征选择 X df[selected_features] # 预测 prediction model.predict(X)[0] probability model.predict_proba(X).max() return jsonify({ attack_type: prediction, probability: float(probability), is_attack: prediction ! normal }) if __name__ __main__: app.run(host0.0.0.0, port5000)4.3 性能监控与模型更新部署后需要持续监控模型表现def monitor_model_performance(): # 收集新数据 new_data get_new_network_data() # 预处理 new_X, new_y preprocess_data(new_data) # 评估当前模型 current_score f1_score(new_y, model.predict(new_X), averageweighted) # 如果性能下降超过阈值重新训练 if current_score performance_threshold: retrain_model() # 记录性能指标 log_performance_metrics(current_score)在实际项目中网络攻击模式会不断演变因此定期用新数据重新训练模型至关重要。建议设置自动化流程每月或当检测性能下降时自动触发模型更新。
