1. 日志筛选工具开发背景在虚幻引擎5UE5项目开发过程中我们经常需要分析长达数万行的日志文件。特别是在处理复杂场景时比如Metahuman角色动画系统日志中会混杂大量调试信息和警告消息。当出现异常时如何快速定位关键错误信息就成了一个痛点问题。我最近在开发一个Metahuman角色项目时就遇到了这样的困扰。HeiXi角色的动画系统出现异常但日志文件超过3万行手动查找error关键词效率极低。于是我用Python写了个简单的日志筛选工具可以自动提取包含错误信息的行及其上下文内容。2. 核心功能解析2.1 基本工作原理这个工具的核心逻辑是逐行读取原始日志文件检测包含error关键词的行不区分大小写保留错误行及其前后各N行上下文按原始顺序输出到新文件if error in line.lower(): start max(0, i - context_lines) for idx in range(start, i 1): keep_indices.add(idx)注意这里使用set()存储行号是为了自动去重避免同一行被多次记录2.2 关键参数说明context_lines控制保留的上下文行数默认设为8行errorsignore处理日志文件编码问题时跳过错误字符sorted(keep_indices)保证输出行保持原始顺序3. 完整实现与优化3.1 基础版本实现原始版本已经可以工作但有几个可以改进的地方def extract_error_context(input_path, output_path, context_lines8): with open(input_path, r, encodingutf-8, errorsignore) as f: lines f.readlines() keep_indices set() for i, line in enumerate(lines): if error in line.lower(): start max(0, i - context_lines) end min(len(lines), i context_lines 1) for idx in range(start, end): keep_indices.add(idx) with open(output_path, w, encodingutf-8) as f: for i in sorted(keep_indices): f.write(lines[i]) print(f完成共保留 {len(keep_indices)} 行输出到{output_path})3.2 增强版改进在实际使用中我发现还需要处理以下情况支持多个错误关键词error、exception、fail等添加行号显示处理超大日志文件的内存问题改进后的版本def extract_error_context_enhanced( input_path, output_path, keywords(error, exception, fail), context_lines8, show_line_numbersTrue ): keywords [k.lower() for k in keywords] with open(input_path, r, encodingutf-8, errorsignore) as f: lines f.readlines() keep_indices set() for i, line in enumerate(lines): line_lower line.lower() if any(kw in line_lower for kw in keywords): start max(0, i - context_lines) end min(len(lines), i context_lines 1) keep_indices.update(range(start, end)) with open(output_path, w, encodingutf-8) as f: for i in sorted(keep_indices): if show_line_numbers: f.write(f[{i1}] {lines[i]}) else: f.write(lines[i]) print(f完成共保留 {len(keep_indices)} 行原始文件 {len(lines)} 行压缩率 {len(keep_indices)/len(lines):.1%})4. 实际应用案例4.1 UE5日志分析示例以MetahumanCharacterHeiXi.log为例[1423] LogTemp: Warning: Animation blend space issue [1428] LogAnimation: Error: Bone transform failed for spine_03 [1429] LogAnimation: at UpdateBoneTransforms (line 328) [1430] LogAnimation: Source: Character_AnimBP [1437] LogTemp: Animation notify triggered使用工具处理后我们得到[1427] LogAnimation: Preparing bone transforms... [1428] LogAnimation: Error: Bone transform failed for spine_03 [1429] LogAnimation: at UpdateBoneTransforms (line 328) [1430] LogAnimation: Source: Character_AnimBP4.2 性能优化建议对于超过100MB的超大日志文件使用逐行读取而非readlines()with open(input_path, r, encodingutf-8, errorsignore) as f: for i, line in enumerate(f): # 处理逻辑添加进度显示if i % 1000 0: print(f已处理 {i} 行..., end\r)5. 常见问题与解决方案5.1 编码问题处理UE5日志可能使用不同编码格式建议尝试常见编码encodings [utf-8, utf-16, gbk, latin1] for enc in encodings: try: with open(path, r, encodingenc) as f: f.read() return enc except: continue使用chardet自动检测import chardet with open(path, rb) as f: raw f.read(10000) encoding chardet.detect(raw)[encoding]5.2 正则表达式增强匹配对于更复杂的错误模式匹配import re error_patterns [ r\berror\b, rexception:\s\w, rfailed\sto\s\w ] def is_error_line(line): return any(re.search(p, line, re.I) for p in error_patterns)6. 工程化扩展建议6.1 打包为UE5插件可以将此工具集成到UE5编辑器中创建Editor Utility Widget添加日志文件选择控件添加参数配置界面输出结果直接显示在编辑器内6.2 命令行增强版添加更多实用参数parser argparse.ArgumentParser() parser.add_argument(input, help输入日志文件路径) parser.add_argument(-o, --output, defaulterrors.log) parser.add_argument(-c, --context, typeint, default5) parser.add_argument(--keywords, nargs, default[error]) args parser.parse_args()7. 实际使用心得经过多个UE5项目的实践验证这个工具帮我节省了大量调试时间。以下是几点经验分享上下文行数不是越多越好5-10行通常最合适建议将常见错误关键词预置为配置文件对于持续集成的自动化测试可以设置错误计数阈值处理多语言日志时注意关键词的本地化问题一个特别有用的技巧是在工具输出中添加时间戳过滤from datetime import datetime start_time datetime.strptime(2023-07-20 14:00, %Y-%m-%d %H:%M) end_time datetime.strptime(2023-07-20 15:00, %Y-%m-%d %H:%M) def extract_with_time_filter(lines): for i, line in enumerate(lines): try: log_time datetime.strptime(line[:19], %Y.%m.%d-%H.%M.%S) if start_time log_time end_time: # 处理逻辑 except: continue