MogFace模型Python爬虫数据清洗实战构建自动化人脸数据集标注管道最近在做一个定制化的人脸识别项目最头疼的不是模型训练而是数据准备。找现成的数据集吧要么不符合业务场景要么人脸角度、光照条件太单一。自己拍成本高不说规模也上不去。相信很多做AI落地的朋友都遇到过类似问题。后来我琢磨出一个办法用Python爬虫从网上批量获取符合需求的图片再用MogFace这样的人脸检测模型自动清洗和标注最后人工稍微检查一下就能快速攒出一个高质量的数据集。这套方法帮我们节省了至少80%的数据准备时间。今天我就把这个实战流程拆开揉碎了讲给你听从写爬虫到自动标注手把手带你走一遍。1. 项目目标与核心思路简单来说我们的目标就是“又快又好”地搞到一个定制化的人脸数据集。传统方法要么买贵要么手工标注慢而我们想走一条自动化的路。整个流程可以拆成三个核心环节有目标地抓取用Python爬虫针对性地从一些允许爬取的图片网站比如一些摄影社区、公开人物图库批量下载包含人脸的图片。这里的关键是“遵守规则”和“精准抓取”。自动化清洗与初筛下载的图片里什么都有我们需要用MogFace模型快速跑一遍把确实含有人脸、且人脸质量尚可如清晰度够、无明显遮挡的图片筛选出来并自动标出人脸位置边界框。人工精修与归档自动标注不可能100%准确我们需要一个轻量级的工具或脚本快速浏览、修正MogFace生成的标注框并将最终结果整理成标准格式如VOC、COCO或简单的图片名, x1,y1,x2,y2的CSV文件。这样做的好处很明显效率极高。原本需要几周人工标注的活现在一两天就能出初步结果。而且因为爬虫源可以自定义数据的多样性和针对性也更强。2. 第一步编写合规的图片爬虫爬虫是数据源的起点但必须合法合规。我们坚决遵守网站的Robots.txt协议控制请求频率不搞恶意爬取。这里我以从一个模拟的、允许爬取的公开图库网站获取图片为例。2.1 环境准备与爬虫设计首先安装必要的Python库。我们主要用requests发请求BeautifulSoup解析网页os和urllib处理文件。# 安装依赖 # pip install requests beautifulsoup4 import requests from bs4 import BeautifulSoup import os import time from urllib.parse import urljoin import re # 创建目录保存图片 save_dir ./downloaded_faces os.makedirs(save_dir, exist_okTrue)爬虫的设计思路很简单分析目标网站图库页面的结构找到图片链接的规律。遍历页面提取高清图片的原始URL。下载图片并保存到本地同时加入延迟避免对服务器造成压力。2.2 爬虫代码实现下面是一个简化但功能完整的爬虫示例。请注意在实际使用时你需要将base_url替换成你真正要爬取且确认允许爬取的网站地址并可能需要调整img_tag和src_attr的查找逻辑。def fetch_images_from_page(page_url, headers, patternNone): 从单个页面抓取图片链接 :param page_url: 目标页面URL :param headers: 请求头模拟浏览器 :param pattern: 可选用于过滤图片链接的正则表达式 :return: 图片url列表 try: resp requests.get(page_url, headersheaders, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.content, html.parser) # 假设图片链接在img标签的data-src或src属性里 # 你需要根据目标网站的实际HTML结构来调整这里的选择器 img_tags soup.find_all(img, {src: re.compile(r\.(jpg|jpeg|png|bmp)$, re.I)}) # 或者找带有特定class的img标签例如img_tags soup.select(img.photo-img) image_urls [] for img in img_tags: # 优先取data-src懒加载没有则取src img_url img.get(data-src) or img.get(src) if img_url: # 将相对路径转换为绝对路径 full_url urljoin(page_url, img_url) # 如果提供了过滤模式则进行匹配 if pattern is None or re.search(pattern, full_url): image_urls.append(full_url) return list(set(image_urls)) # 去重 except Exception as e: print(f抓取页面 {page_url} 时出错: {e}) return [] def download_image(img_url, save_path, headers): 下载单张图片 try: resp requests.get(img_url, headersheaders, streamTrue, timeout15) if resp.status_code 200: with open(save_path, wb) as f: for chunk in resp.iter_content(1024): f.write(chunk) print(f下载成功: {save_path}) return True else: print(f下载失败状态码{resp.status_code}: {img_url}) return False except Exception as e: print(f下载图片 {img_url} 时出错: {e}) return False def main_crawler(start_page, max_pages5, delay2): 主爬虫函数 :param start_page: 起始页面URL :param max_pages: 最大爬取页数 :param delay: 每次请求之间的延迟秒礼貌爬虫 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } all_downloaded [] for page_num in range(max_pages): # 构造分页URL这里需要根据目标网站的分页规则调整 current_page_url f{start_page}?page{page_num1} # 示例 print(f正在处理第 {page_num1} 页: {current_page_url}) img_urls fetch_images_from_page(current_page_url, headers) print(f本页找到 {len(img_urls)} 张图片) for idx, img_url in enumerate(img_urls): # 生成文件名 file_name os.path.basename(img_url).split(?)[0] # 去掉URL参数 if not file_name: file_name fimage_{page_num}_{idx}.jpg save_path os.path.join(save_dir, file_name) # 如果文件已存在跳过 if os.path.exists(save_path): print(f文件已存在跳过: {file_name}) continue success download_image(img_url, save_path, headers) if success: all_downloaded.append(save_path) # 每下载一张图片后休息一下做有礼貌的爬虫 time.sleep(1) # 每处理完一页休息更长时间 time.sleep(delay) print(f第 {page_num1} 页处理完毕累计下载 {len(all_downloaded)} 张。\n) print(f爬虫任务结束总共下载了 {len(all_downloaded)} 张新图片到 {save_dir} 目录。) return all_downloaded # 使用示例请务必替换为合规的目标URL并控制爬取量 if __name__ __main__: # 重要请替换为实际目标网站URL并确保遵守其robots.txt target_site_start_url https://example-porfolio-site.com/portraits downloaded_files main_crawler(target_site_start_url, max_pages3, delay3)运行这段代码后你会在downloaded_faces文件夹里看到一批下载好的图片。这只是第一步我们拿到了“原材料”。3. 第二步用MogFace进行自动化人脸检测与裁剪图片下载好了但里面可能混入风景、物体等不含人脸的图片也可能一张图里有好几个人。接下来就该MogFace上场了它的任务是把人脸找出来并给我们一个初步的标注。3.1 部署与调用MogFace模型假设你已经通过类似CSDN星图镜像广场这样的平台一键部署好了MogFace服务。它通常会提供一个HTTP API接口。我们通过Python调用这个接口。import cv2 import numpy as np import os import json import requests from PIL import Image class MogFaceDetector: def __init__(self, api_url): 初始化MogFace检测器 :param api_url: MogFace模型服务的API地址例如 http://localhost:8000/predict self.api_url api_url def detect_faces(self, image_path): 调用MogFace API检测单张图片中的人脸 :param image_path: 图片文件路径 :return: 检测结果列表每个元素为[x1, y1, x2, y2, confidence] try: with open(image_path, rb) as f: files {image: f} response requests.post(self.api_url, filesfiles, timeout30) if response.status_code 200: result response.json() # 假设API返回格式为 {faces: [[x1, y1, x2, y2, score], ...]} faces result.get(faces, []) return faces else: print(fAPI调用失败状态码 {response.status_code} for {image_path}) return [] except Exception as e: print(f检测图片 {image_path} 时出错: {e}) return [] def crop_and_save_faces(self, image_path, faces, output_dir, min_confidence0.7): 根据检测到的人脸框裁剪并保存人脸区域 :param image_path: 原图路径 :param faces: 检测到的人脸框列表 :param output_dir: 裁剪后的人脸保存目录 :param min_confidence: 置信度阈值低于此值的人脸将被过滤 :return: 保存成功的人脸图片路径列表 if not faces: return [] img cv2.imread(image_path) if img is None: print(f无法读取图片: {image_path}) return [] os.makedirs(output_dir, exist_okTrue) saved_paths [] base_name os.path.splitext(os.path.basename(image_path))[0] for i, face in enumerate(faces): # face格式: [x1, y1, x2, y2, confidence] if len(face) 5: continue x1, y1, x2, y2, conf map(int, face[:4]), face[4] if conf min_confidence: continue # 跳过低置信度检测框 # 确保坐标在图片范围内 h, w img.shape[:2] x1, y1 max(0, x1), max(0, y1) x2, y2 min(w, x2), min(h, y2) if x2 x1 or y2 y1: continue # 无效框 face_crop img[y1:y2, x1:x2] if face_crop.size 0: continue # 保存裁剪后的人脸 face_filename f{base_name}_face_{i}_conf_{conf:.2f}.jpg face_path os.path.join(output_dir, face_filename) cv2.imwrite(face_path, face_crop) saved_paths.append(face_path) return saved_paths # 使用示例 if __name__ __main__: # 初始化检测器替换为你的实际API地址 detector MogFaceDetector(api_urlhttp://your-mogface-server:port/predict) # 指定输入图片目录和输出目录 input_image_dir ./downloaded_faces output_cropped_dir ./cropped_faces annotation_file ./annotations.csv all_annotations [] # 遍历下载的图片 for img_file in os.listdir(input_image_dir): if not img_file.lower().endswith((.png, .jpg, .jpeg, .bmp)): continue img_path os.path.join(input_image_dir, img_file) print(f处理中: {img_file}) # 1. 人脸检测 faces detector.detect_faces(img_path) print(f 检测到 {len(faces)} 个人脸) if faces: # 2. 裁剪并保存人脸 saved_faces detector.crop_and_save_faces(img_path, faces, output_cropped_dir) print(f 成功裁剪保存 {len(saved_faces)} 个人脸图片) # 3. 记录标注信息这里保存原图和人脸框信息 for face in faces: if len(face) 5: x1, y1, x2, y2, conf face[:4], face[4] # 记录格式原图文件名, x1, y1, x2, y2, 置信度 all_annotations.append([img_file, x1, y1, x2, y2, conf]) # 将标注信息保存到CSV文件 import pandas as pd if all_annotations: df pd.DataFrame(all_annotations, columns[image_name, x1, y1, x2, y2, confidence]) df.to_csv(annotation_file, indexFalse) print(f\n标注信息已保存至: {annotation_file}) else: print(未检测到任何人脸未生成标注文件。)跑完这个脚本你会得到两个成果cropped_faces文件夹里面是所有裁剪出来的单人脸图片命名里包含了置信度方便你后续筛选。annotations.csv文件记录了每张原图中每个人脸框的位置和置信度这是你的自动化标注结果。4. 第三步人工微调与数据集整理机器标注完了但难免有漏检、误检或者框得不准的情况。最后一步就是人工检查确保数据集的质量。4.1 快速人工复核我们不需要一个复杂的标注平台用Python写个简单的可视化脚本就能快速浏览和修正。import cv2 import pandas as pd import os def review_and_correct_annotations(annotation_csv, image_dir, corrected_csvannotations_corrected.csv): 一个简单的人工复核界面显示图片和检测框允许用户修正。 这是一个简化版实际应用中你可能需要更友好的GUI如Tkinter或使用现成工具。 df pd.read_csv(annotation_csv) corrections [] # 按图片分组 grouped df.groupby(image_name) for img_name, group in grouped: img_path os.path.join(image_dir, img_name) img cv2.imread(img_path) if img is None: print(f无法加载图片: {img_path}) continue img_display img.copy() for idx, row in group.iterrows(): x1, y1, x2, y2 int(row[x1]), int(row[y1]), int(row[x2]), int(row[y2]) conf row[confidence] # 在图片上画出检测框 cv2.rectangle(img_display, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(img_display, f{conf:.2f}, (x1, y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 1) cv2.imshow(Review - Press: (y)Accept (n)Reject (c)Correct (q)Quit, img_display) key cv2.waitKey(0) 0xFF if key ord(q): break elif key ord(y): # 接受所有框 corrections.extend(group.to_dict(records)) print(f已接受: {img_name}) elif key ord(n): # 拒绝这张图的所有框不加入修正集 print(f已拒绝: {img_name}) continue elif key ord(c): # 手动修正模式这里需要更复杂的交互逻辑仅为示意 print(f进入修正模式: {img_name} (此处需实现具体修正逻辑)) # 简化处理暂时也接受 corrections.extend(group.to_dict(records)) cv2.destroyAllWindows() # 保存修正后的标注 if corrections: corrected_df pd.DataFrame(corrections) corrected_df.to_csv(corrected_csv, indexFalse) print(f修正后的标注已保存至: {corrected_csv}) return corrections # 使用示例 if __name__ __main__: # 这个简单的OpenCV窗口复核适合小批量快速检查。 # 对于大量数据建议使用更高效的标注工具如labelImg加载我们生成的CSV进行微调。 print(提示这是一个简易复核界面。) print(按 y 接受当前图片所有框n 拒绝c 修正示例中简化为接受q 退出。) review_and_correct_annotations(./annotations.csv, ./downloaded_faces)对于大规模数据我强烈建议将annotations.csv导入专业的标注工具如labelImg进行微调效率更高。我们的CSV格式很容易转换成这些工具支持的格式。4.2 数据集归档与整理复核完成后你就可以得到一个相对干净的人脸图片集cropped_faces里筛选后的和对应的精准标注文件。根据你后续训练框架的需求如PyTorch, TensorFlow, PaddlePaddle将它们整理成相应的数据集格式如创建train/val划分生成train.txt等就可以直接用于模型训练了。5. 总结与建议走完这一整套流程你会发现准备人脸数据不再是个令人望而生畏的苦差事。爬虫负责“开源”MogFace负责“粗筛”人工只需“精修”三者结合效率提升非常显著。实际做的时候有几点心得可以分享爬虫要讲武德一定要尊重robots.txt控制速率最好能模拟真实用户行为User-Agent随机延迟。瞄准那些明确允许爬取或采用知识共享协议的图片源。模型调参有讲究MogFace的置信度阈值min_confidence需要根据你的数据特点调整。阈值太高会漏掉一些人脸太低则误检会增多。可以先在几百张图片上跑一下观察结果来定。人工复核是关键自动化标注省力但不能完全省心。尤其是对于边界模糊、遮挡严重、侧脸等复杂情况人工检查必不可少。这一步是保证数据集质量的核心。流程可以更自动化你可以把爬虫、检测、裁剪这几个步骤用脚本串起来甚至加上自动去重根据图像哈希、质量过滤如模糊度检测的环节形成一条更智能的数据管道。这套方法不仅适用于人脸稍加改造也可以用于其他需要大量图像标注的目标检测任务。核心思想就是利用现有的、强大的开源模型将人力从重复劳动中解放出来聚焦在更有创造性的数据筛选和校验上。如果你正在为某个特定场景寻找数据不妨试试这个组合拳。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
MogFace模型Python爬虫数据清洗实战：构建自动化人脸数据集标注管道
发布时间：2026/5/19 6:40:52
MogFace模型Python爬虫数据清洗实战构建自动化人脸数据集标注管道最近在做一个定制化的人脸识别项目最头疼的不是模型训练而是数据准备。找现成的数据集吧要么不符合业务场景要么人脸角度、光照条件太单一。自己拍成本高不说规模也上不去。相信很多做AI落地的朋友都遇到过类似问题。后来我琢磨出一个办法用Python爬虫从网上批量获取符合需求的图片再用MogFace这样的人脸检测模型自动清洗和标注最后人工稍微检查一下就能快速攒出一个高质量的数据集。这套方法帮我们节省了至少80%的数据准备时间。今天我就把这个实战流程拆开揉碎了讲给你听从写爬虫到自动标注手把手带你走一遍。1. 项目目标与核心思路简单来说我们的目标就是“又快又好”地搞到一个定制化的人脸数据集。传统方法要么买贵要么手工标注慢而我们想走一条自动化的路。整个流程可以拆成三个核心环节有目标地抓取用Python爬虫针对性地从一些允许爬取的图片网站比如一些摄影社区、公开人物图库批量下载包含人脸的图片。这里的关键是“遵守规则”和“精准抓取”。自动化清洗与初筛下载的图片里什么都有我们需要用MogFace模型快速跑一遍把确实含有人脸、且人脸质量尚可如清晰度够、无明显遮挡的图片筛选出来并自动标出人脸位置边界框。人工精修与归档自动标注不可能100%准确我们需要一个轻量级的工具或脚本快速浏览、修正MogFace生成的标注框并将最终结果整理成标准格式如VOC、COCO或简单的图片名, x1,y1,x2,y2的CSV文件。这样做的好处很明显效率极高。原本需要几周人工标注的活现在一两天就能出初步结果。而且因为爬虫源可以自定义数据的多样性和针对性也更强。2. 第一步编写合规的图片爬虫爬虫是数据源的起点但必须合法合规。我们坚决遵守网站的Robots.txt协议控制请求频率不搞恶意爬取。这里我以从一个模拟的、允许爬取的公开图库网站获取图片为例。2.1 环境准备与爬虫设计首先安装必要的Python库。我们主要用requests发请求BeautifulSoup解析网页os和urllib处理文件。# 安装依赖 # pip install requests beautifulsoup4 import requests from bs4 import BeautifulSoup import os import time from urllib.parse import urljoin import re # 创建目录保存图片 save_dir ./downloaded_faces os.makedirs(save_dir, exist_okTrue)爬虫的设计思路很简单分析目标网站图库页面的结构找到图片链接的规律。遍历页面提取高清图片的原始URL。下载图片并保存到本地同时加入延迟避免对服务器造成压力。2.2 爬虫代码实现下面是一个简化但功能完整的爬虫示例。请注意在实际使用时你需要将base_url替换成你真正要爬取且确认允许爬取的网站地址并可能需要调整img_tag和src_attr的查找逻辑。def fetch_images_from_page(page_url, headers, patternNone): 从单个页面抓取图片链接 :param page_url: 目标页面URL :param headers: 请求头模拟浏览器 :param pattern: 可选用于过滤图片链接的正则表达式 :return: 图片url列表 try: resp requests.get(page_url, headersheaders, timeout10) resp.raise_for_status() soup BeautifulSoup(resp.content, html.parser) # 假设图片链接在img标签的data-src或src属性里 # 你需要根据目标网站的实际HTML结构来调整这里的选择器 img_tags soup.find_all(img, {src: re.compile(r\.(jpg|jpeg|png|bmp)$, re.I)}) # 或者找带有特定class的img标签例如img_tags soup.select(img.photo-img) image_urls [] for img in img_tags: # 优先取data-src懒加载没有则取src img_url img.get(data-src) or img.get(src) if img_url: # 将相对路径转换为绝对路径 full_url urljoin(page_url, img_url) # 如果提供了过滤模式则进行匹配 if pattern is None or re.search(pattern, full_url): image_urls.append(full_url) return list(set(image_urls)) # 去重 except Exception as e: print(f抓取页面 {page_url} 时出错: {e}) return [] def download_image(img_url, save_path, headers): 下载单张图片 try: resp requests.get(img_url, headersheaders, streamTrue, timeout15) if resp.status_code 200: with open(save_path, wb) as f: for chunk in resp.iter_content(1024): f.write(chunk) print(f下载成功: {save_path}) return True else: print(f下载失败状态码{resp.status_code}: {img_url}) return False except Exception as e: print(f下载图片 {img_url} 时出错: {e}) return False def main_crawler(start_page, max_pages5, delay2): 主爬虫函数 :param start_page: 起始页面URL :param max_pages: 最大爬取页数 :param delay: 每次请求之间的延迟秒礼貌爬虫 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } all_downloaded [] for page_num in range(max_pages): # 构造分页URL这里需要根据目标网站的分页规则调整 current_page_url f{start_page}?page{page_num1} # 示例 print(f正在处理第 {page_num1} 页: {current_page_url}) img_urls fetch_images_from_page(current_page_url, headers) print(f本页找到 {len(img_urls)} 张图片) for idx, img_url in enumerate(img_urls): # 生成文件名 file_name os.path.basename(img_url).split(?)[0] # 去掉URL参数 if not file_name: file_name fimage_{page_num}_{idx}.jpg save_path os.path.join(save_dir, file_name) # 如果文件已存在跳过 if os.path.exists(save_path): print(f文件已存在跳过: {file_name}) continue success download_image(img_url, save_path, headers) if success: all_downloaded.append(save_path) # 每下载一张图片后休息一下做有礼貌的爬虫 time.sleep(1) # 每处理完一页休息更长时间 time.sleep(delay) print(f第 {page_num1} 页处理完毕累计下载 {len(all_downloaded)} 张。\n) print(f爬虫任务结束总共下载了 {len(all_downloaded)} 张新图片到 {save_dir} 目录。) return all_downloaded # 使用示例请务必替换为合规的目标URL并控制爬取量 if __name__ __main__: # 重要请替换为实际目标网站URL并确保遵守其robots.txt target_site_start_url https://example-porfolio-site.com/portraits downloaded_files main_crawler(target_site_start_url, max_pages3, delay3)运行这段代码后你会在downloaded_faces文件夹里看到一批下载好的图片。这只是第一步我们拿到了“原材料”。3. 第二步用MogFace进行自动化人脸检测与裁剪图片下载好了但里面可能混入风景、物体等不含人脸的图片也可能一张图里有好几个人。接下来就该MogFace上场了它的任务是把人脸找出来并给我们一个初步的标注。3.1 部署与调用MogFace模型假设你已经通过类似CSDN星图镜像广场这样的平台一键部署好了MogFace服务。它通常会提供一个HTTP API接口。我们通过Python调用这个接口。import cv2 import numpy as np import os import json import requests from PIL import Image class MogFaceDetector: def __init__(self, api_url): 初始化MogFace检测器 :param api_url: MogFace模型服务的API地址例如 http://localhost:8000/predict self.api_url api_url def detect_faces(self, image_path): 调用MogFace API检测单张图片中的人脸 :param image_path: 图片文件路径 :return: 检测结果列表每个元素为[x1, y1, x2, y2, confidence] try: with open(image_path, rb) as f: files {image: f} response requests.post(self.api_url, filesfiles, timeout30) if response.status_code 200: result response.json() # 假设API返回格式为 {faces: [[x1, y1, x2, y2, score], ...]} faces result.get(faces, []) return faces else: print(fAPI调用失败状态码 {response.status_code} for {image_path}) return [] except Exception as e: print(f检测图片 {image_path} 时出错: {e}) return [] def crop_and_save_faces(self, image_path, faces, output_dir, min_confidence0.7): 根据检测到的人脸框裁剪并保存人脸区域 :param image_path: 原图路径 :param faces: 检测到的人脸框列表 :param output_dir: 裁剪后的人脸保存目录 :param min_confidence: 置信度阈值低于此值的人脸将被过滤 :return: 保存成功的人脸图片路径列表 if not faces: return [] img cv2.imread(image_path) if img is None: print(f无法读取图片: {image_path}) return [] os.makedirs(output_dir, exist_okTrue) saved_paths [] base_name os.path.splitext(os.path.basename(image_path))[0] for i, face in enumerate(faces): # face格式: [x1, y1, x2, y2, confidence] if len(face) 5: continue x1, y1, x2, y2, conf map(int, face[:4]), face[4] if conf min_confidence: continue # 跳过低置信度检测框 # 确保坐标在图片范围内 h, w img.shape[:2] x1, y1 max(0, x1), max(0, y1) x2, y2 min(w, x2), min(h, y2) if x2 x1 or y2 y1: continue # 无效框 face_crop img[y1:y2, x1:x2] if face_crop.size 0: continue # 保存裁剪后的人脸 face_filename f{base_name}_face_{i}_conf_{conf:.2f}.jpg face_path os.path.join(output_dir, face_filename) cv2.imwrite(face_path, face_crop) saved_paths.append(face_path) return saved_paths # 使用示例 if __name__ __main__: # 初始化检测器替换为你的实际API地址 detector MogFaceDetector(api_urlhttp://your-mogface-server:port/predict) # 指定输入图片目录和输出目录 input_image_dir ./downloaded_faces output_cropped_dir ./cropped_faces annotation_file ./annotations.csv all_annotations [] # 遍历下载的图片 for img_file in os.listdir(input_image_dir): if not img_file.lower().endswith((.png, .jpg, .jpeg, .bmp)): continue img_path os.path.join(input_image_dir, img_file) print(f处理中: {img_file}) # 1. 人脸检测 faces detector.detect_faces(img_path) print(f 检测到 {len(faces)} 个人脸) if faces: # 2. 裁剪并保存人脸 saved_faces detector.crop_and_save_faces(img_path, faces, output_cropped_dir) print(f 成功裁剪保存 {len(saved_faces)} 个人脸图片) # 3. 记录标注信息这里保存原图和人脸框信息 for face in faces: if len(face) 5: x1, y1, x2, y2, conf face[:4], face[4] # 记录格式原图文件名, x1, y1, x2, y2, 置信度 all_annotations.append([img_file, x1, y1, x2, y2, conf]) # 将标注信息保存到CSV文件 import pandas as pd if all_annotations: df pd.DataFrame(all_annotations, columns[image_name, x1, y1, x2, y2, confidence]) df.to_csv(annotation_file, indexFalse) print(f\n标注信息已保存至: {annotation_file}) else: print(未检测到任何人脸未生成标注文件。)跑完这个脚本你会得到两个成果cropped_faces文件夹里面是所有裁剪出来的单人脸图片命名里包含了置信度方便你后续筛选。annotations.csv文件记录了每张原图中每个人脸框的位置和置信度这是你的自动化标注结果。4. 第三步人工微调与数据集整理机器标注完了但难免有漏检、误检或者框得不准的情况。最后一步就是人工检查确保数据集的质量。4.1 快速人工复核我们不需要一个复杂的标注平台用Python写个简单的可视化脚本就能快速浏览和修正。import cv2 import pandas as pd import os def review_and_correct_annotations(annotation_csv, image_dir, corrected_csvannotations_corrected.csv): 一个简单的人工复核界面显示图片和检测框允许用户修正。 这是一个简化版实际应用中你可能需要更友好的GUI如Tkinter或使用现成工具。 df pd.read_csv(annotation_csv) corrections [] # 按图片分组 grouped df.groupby(image_name) for img_name, group in grouped: img_path os.path.join(image_dir, img_name) img cv2.imread(img_path) if img is None: print(f无法加载图片: {img_path}) continue img_display img.copy() for idx, row in group.iterrows(): x1, y1, x2, y2 int(row[x1]), int(row[y1]), int(row[x2]), int(row[y2]) conf row[confidence] # 在图片上画出检测框 cv2.rectangle(img_display, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(img_display, f{conf:.2f}, (x1, y1-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0,255,0), 1) cv2.imshow(Review - Press: (y)Accept (n)Reject (c)Correct (q)Quit, img_display) key cv2.waitKey(0) 0xFF if key ord(q): break elif key ord(y): # 接受所有框 corrections.extend(group.to_dict(records)) print(f已接受: {img_name}) elif key ord(n): # 拒绝这张图的所有框不加入修正集 print(f已拒绝: {img_name}) continue elif key ord(c): # 手动修正模式这里需要更复杂的交互逻辑仅为示意 print(f进入修正模式: {img_name} (此处需实现具体修正逻辑)) # 简化处理暂时也接受 corrections.extend(group.to_dict(records)) cv2.destroyAllWindows() # 保存修正后的标注 if corrections: corrected_df pd.DataFrame(corrections) corrected_df.to_csv(corrected_csv, indexFalse) print(f修正后的标注已保存至: {corrected_csv}) return corrections # 使用示例 if __name__ __main__: # 这个简单的OpenCV窗口复核适合小批量快速检查。 # 对于大量数据建议使用更高效的标注工具如labelImg加载我们生成的CSV进行微调。 print(提示这是一个简易复核界面。) print(按 y 接受当前图片所有框n 拒绝c 修正示例中简化为接受q 退出。) review_and_correct_annotations(./annotations.csv, ./downloaded_faces)对于大规模数据我强烈建议将annotations.csv导入专业的标注工具如labelImg进行微调效率更高。我们的CSV格式很容易转换成这些工具支持的格式。4.2 数据集归档与整理复核完成后你就可以得到一个相对干净的人脸图片集cropped_faces里筛选后的和对应的精准标注文件。根据你后续训练框架的需求如PyTorch, TensorFlow, PaddlePaddle将它们整理成相应的数据集格式如创建train/val划分生成train.txt等就可以直接用于模型训练了。5. 总结与建议走完这一整套流程你会发现准备人脸数据不再是个令人望而生畏的苦差事。爬虫负责“开源”MogFace负责“粗筛”人工只需“精修”三者结合效率提升非常显著。实际做的时候有几点心得可以分享爬虫要讲武德一定要尊重robots.txt控制速率最好能模拟真实用户行为User-Agent随机延迟。瞄准那些明确允许爬取或采用知识共享协议的图片源。模型调参有讲究MogFace的置信度阈值min_confidence需要根据你的数据特点调整。阈值太高会漏掉一些人脸太低则误检会增多。可以先在几百张图片上跑一下观察结果来定。人工复核是关键自动化标注省力但不能完全省心。尤其是对于边界模糊、遮挡严重、侧脸等复杂情况人工检查必不可少。这一步是保证数据集质量的核心。流程可以更自动化你可以把爬虫、检测、裁剪这几个步骤用脚本串起来甚至加上自动去重根据图像哈希、质量过滤如模糊度检测的环节形成一条更智能的数据管道。这套方法不仅适用于人脸稍加改造也可以用于其他需要大量图像标注的目标检测任务。核心思想就是利用现有的、强大的开源模型将人力从重复劳动中解放出来聚焦在更有创造性的数据筛选和校验上。如果你正在为某个特定场景寻找数据不妨试试这个组合拳。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
![[ozone]-deleteBlock 部分Jira整理](http://pic.xiahunao.cn/yaotu/[ozone]-deleteBlock 部分Jira整理)
