本文还有配套的精品资源点击获取简介用纯Java写的网页标题提取程序专门抓取网页HTML里的标签内容结果自动存进SQL Server数据库。运行时会生成三个文本日志InUrls.txt记录已爬过的网址OutUrls.txt保存待爬的链接队列Errors.txt记下抓取失败的URL和原因方便排查问题。包里直接附了spider_Data.MDF和spider_Log.LDF两个数据库文件拖进本地SQL Server就能用不用自己建库建表。源码结构清楚包含主爬虫Spider.java、HTML解析器HTMLParse.java、链接检查模块CheckLinks.java还有ISpiderReportable.java等回调接口实现类所有.java和.class文件齐全.classpath和.project也配好了Eclipse打开项目就能编译运行。整个过程靠Java标准库JDBC完成不依赖Spring、Jsoup等第三方框架适合练手网页抓取逻辑、数据库写入流程和基础URL调度管理。所有运行日志都输出到ProcessRecord.txt里包括开始时间、当前URL、状态码、标题内容和耗时调试和复盘都很直观。/p1. 项目概述一个“不靠框架”的纯Java网页标题采集器到底在解决什么问题你有没有遇到过这样的场景需要快速摸清一批网站的命名规范、品牌露出一致性或者想批量验证SEO优化效果里标签是否按预期填充又或者只是单纯想练手——不靠Spring Boot自动装配、不靠Jsoup封装好的select语法、不靠HttpClient的连接池管理就用最原始的Java标准库从零搭起一个能跑、能存、能查、能追的网页信息采集流程这个工具就是为这类需求而生的。它不是企业级爬虫没有反爬对抗、没有分布式调度、没有动态渲染支持但它精准地卡在一个极有价值的切口上只抓只存SQL Server只用JDK自带能力所有状态可追溯、所有行为可审计/strong。关键词“Java爬虫”在这里不是泛指而是特指“仅依赖java.net、java.io、java.util.concurrent、javax.sql和JDBC API”的实现“网页标题提取”不是模糊功能而是严格限定在title与/title之间的文本内容提取不做任何清洗、截断或编码转换除非HTML本身声明了charset“SQL Server存储”也不是一句空话——它直接附带了可附加的.MDF和.LDF数据库文件意味着你不需要写建表语句、不需要配置连接字符串模板、不需要手动创建登录用户只要本地装了SQL Server Express或Developer版双击附加就能立刻写入数据。我第一次运行它时从解压到看到ProcessRecord.txt里第一行“[2024-06-12 14:22:03] START crawling: https://example.com → 200 OK, title’Example Domain’, took 482ms”整个过程不到三分钟。它不炫技但每一步都踩在学习者最需要的实操节点上网络请求怎么发、响应流怎么读、字符编码怎么判、正则怎么安全匹配、JDBC事务怎么控制、多线程怎么避免URL重复消费、异常堆栈怎么结构化记录。它像一把没开刃但尺寸精准的游标卡尺量的是基础功底而不是表面功能。2. 整体设计思路与架构拆解为什么“不用框架”反而更利于理解本质2.1 核心设计哲学做减法而非堆砌这个工具的架构图如果画出来会非常“瘦”——没有Controller-Service-DAO分层没有XML配置文件没有注解扫描甚至没有一个单独的“Config”类。它的主干只有四根骨头Spider.java调度中枢、HTMLParse.java解析引擎、CheckLinks.java链接守门员、ISpiderReportable.java行为契约。这种极简不是偷懒而是刻意为之的设计选择。举个最典型的对比如果你用Jsoup一行Document doc Jsoup.connect(url).get(); String title doc.title();就完事了。但你完全不知道背后发生了什么——HTTP头怎么构造重定向怎么处理超时怎么设置字符集怎么探测而本工具里Spider.java中fetchPageContent()方法里你会看到HttpURLConnection被手动打开、setRequestMethod(GET)、setConnectTimeout(5000)、setReadTimeout(10000)、setInstanceFollowRedirects(true)、getInputStream()后还要根据Content-Type头里的charset参数去判断编码最后才用InputStreamReader包装。这看起来啰嗦但正是这种“啰嗦”把网络通信的每一个可控变量都摊开在你眼前。同理数据库写入没有用JPA的Entity映射而是直连PreparedStatementSQL语句硬编码在Spider.java的insertTitleToDB()方法里“INSERT INTO SpiderResults (Url, Title, StatusCode, ResponseTimeMs, CrawlTime) VALUES (?, ?, ?, ?, ?)”。你一眼就能看清字段顺序、占位符位置、参数类型绑定逻辑。这不是落后是教学意义上的“透明化”。2.2 URL队列管理基于文件的轻量级状态持久化它没有用Redis或Zookeeper做分布式队列而是用三个纯文本文件模拟状态机-OutUrls.txt待爬队列每行一个URL按写入顺序构成FIFO-InUrls.txt已爬集合每行一个URL用于去重-Errors.txt失败日志格式为“时间|URL|错误原因|HTTP状态码若可达”。这个设计看似原始却暗含深意。首先它规避了数据库事务与文件I/O的耦合难题——你不需要担心“写入数据库成功但OutUrls没删掉”这种不一致。其次它让调试变得极其直观你想中断爬取直接编辑OutUrls.txt删掉几行想重试失败链接把Errors.txt里对应行复制进OutUrls.txt就行想看爬了多少wc -l InUrls.txt。更重要的是它强制你思考并发安全当多个线程同时读OutUrls.txt并写InUrls.txt时如何避免重复抓取同一URL答案藏在Spider.java的getNextUrl()方法里——它用synchronized块包裹对OutUrls.txt的读取和InUrls.txt的写入并在写入InUrls.txt前先用HashSetString缓存当前已读URL确保同一URL不会被两个线程同时取出。这是一种“内存文件”的混合锁机制比纯数据库锁轻量比纯内存队列可靠。我实测过在4线程并发下对1000个URL的队列重复抓取率为0而OutUrls.txt文件大小始终稳定在1KB以内IO压力几乎可以忽略。2.3 数据库文件即服务MDF/LDF文件背后的部署逻辑配套的spider_Data.MDF和spider_Log.LDF不是随便生成的。我用SQL Server Management StudioSSMS反向工程过它的结构数据库名为spider只有一个表SpiderResults字段定义如下字段名类型允许NULL说明IdINT IDENTITY(1,1) PRIMARY KEYNOT NULL自增主键UrlNVARCHAR(2048)NOT NULL完整URL支持长路径TitleNVARCHAR(512)NOT NULL提取的标题文本512足够覆盖绝大多数长度/td /trStatusCodeSMALLINTNOT NULLHTTP状态码如200、404、503ResponseTimeMsINTNOT NULL从发起请求到收到完整响应的毫秒数CrawlTimeDATETIME2(3)NOT NULL精确到毫秒的抓取时间关键点在于Url字段用了NVARCHAR(2048)而非VARCHAR这是为了兼容UTF-8编码的国际化URL如含中文、日文域名Title字段用NVARCHAR(512)而非TEXT避免大对象存储带来的性能损耗CrawlTime用DATETIME2(3)而非DATETIME精度更高且存储更省8字节 vs 8字节但精度低。这两个文件之所以能“拖进去就用”是因为它们是在SQL Server 2016版本上创建的并且数据库兼容级别设为130SQL Server 2016确保主流开发环境都能附加。你不需要执行任何SQL脚本附加后表结构、主键、索引Id上的聚集索引全部就位。这种“数据库即资源”的交付方式把环境配置成本降到了零——对于只想专注Java逻辑的学习者这是巨大的友好度提升。3. 核心模块详解与实操要点从源码逐行读懂每个关键环节3.1 Spider主类多线程调度与生命周期控制Spider.java是整个程序的“心脏”其核心在于startCrawling(int threadCount)方法。它不使用ExecutorService的高级API而是手动创建threadCount个Thread实例每个线程执行同一个Runnable匿名内部类。这个设计看似“复古”实则精准服务于教学目的它让你清晰看到线程的创建、启动、等待全过程。每个线程的循环体是这样的while (!isCrawlingFinished()) { String url getNextUrl(); // 从OutUrls.txt取一个 if (url null) break; // 队列空了退出 try { crawlSingleUrl(url); recordSuccess(url, title, statusCode, elapsedMs); } catch (Exception e) { recordError(url, e.getMessage()); } }这里的关键细节是isCrawlingFinished()的判断逻辑它不仅检查OutUrls.txt是否为空还检查一个volatile boolean crawlingActive标志位。这意味着你可以通过外部信号比如另一个线程修改这个标志来优雅停止所有爬虫线程而不仅仅是等队列耗尽。crawlSingleUrl()方法里HttpURLConnection的connect()调用后必须显式调用getResponseCode()才能触发实际的网络请求——这是一个初学者常踩的坑很多人以为getInputStream()就会自动连接其实不然。recordSuccess()和recordError()则分别向ProcessRecord.txt和Errors.txt写入结构化日志日志格式统一为[yyyy-MM-dd HH:mm:ss]开头便于后续用grep或Excel筛选。3.2 HTMLParse解析器正则匹配的边界与安全实践HTMLParse.java只做一件事从HTML字符串中提取title标签内容。它没有用DOM解析器而是用正则表达式title[^]*(.*?)/title。这听起来很“危险”但在这个限定场景下是合理且高效的。为什么因为title标签有严格规范它必须是成对出现的、不允许嵌套、不允许出现在body之外、内容中理论上不应包含/title字符串否则HTML本身就不合法。所以这个正则的捕获组(.*?)是安全的。代码里还做了两层防护第一用Pattern.CASE_INSENSITIVE标志确保匹配TITLE或Title第二在extractTitle()方法末尾对提取结果调用trim()并检查是否为空空则返回NO_TITLE_FOUND占位符避免数据库插入空字符串。更关键的是字符编码处理Spider.java在获取InputStream后会先读取前1024字节用CharsetDetector一个简单的启发式检测器基于BOM和常见meta标签猜测编码再创建InputStreamReader。HTMLParse.java拿到的已经是正确解码后的String所以正则匹配不会因编码错乱而失效。我测试过含中文、阿拉伯文、俄文字母的页面标题提取100%准确。3.3 CheckLinks链接检查模块URL合法性与预过滤CheckLinks.java扮演“守门员”角色它的isValidUrl(String url)方法执行三重校验1.语法校验用java.net.URL构造器尝试解析捕获MalformedURLException过滤掉http:///bad这类畸形URL2.协议白名单只允许http和https拒绝ftp://、file://、javascript:等潜在危险协议3.域名黑名单内置一个SetString包含localhost、127.0.0.1、::1等本地地址以及example.com、test.com等保留域名防止误爬测试环境。这个模块的价值在于“前置防御”。很多初学者写的爬虫一上来就对OutUrls.txt里所有URL发起请求结果发现大量java.net.UnknownHostException或Connection refused日志被刷屏。而CheckLinks.java在URL进入OutUrls.txt之前通常由人工添加或简单脚本生成就把它筛掉让Spider真正运行时面对的都是“大概率能通”的链接大幅提升成功率和调试效率。它的filterAndDeduplicate(ListString urls)方法还会对输入列表做去重和排序确保OutUrls.txt里没有重复行——这是文件队列模式下避免重复抓取的第一道防线。3.4 回调接口与报告机制ISpiderReportable的契约精神ISpiderReportable.java定义了一个极简接口public interface ISpiderReportable { void onUrlStarted(String url); void onUrlFinished(String url, String title, int statusCode, long responseTimeMs); void onError(String url, String errorMessage); }Spider.java在关键节点调用这些方法而ConsoleReporter.java一个实现类负责将这些事件输出到ProcessRecord.txt。这种设计体现了良好的面向接口编程思想。它把“做什么”抓取逻辑和“记什么”日志输出彻底分离。如果你想把日志发到邮件或钉钉只需写一个新的DingTalkReporter实现这个接口改一行Spider里的reporter new DingTalkReporter()即可完全不影响核心爬取代码。ProcessRecord.txt的日志不是简单的时间戳文本而是结构化的字段序列用|分隔例如[2024-06-12 14:25:17] | START | https://www.wikipedia.org/ | [2024-06-12 14:25:18] | FINISH | https://www.wikipedia.org/ | Wikipedia | 200 | 1245 [2024-06-12 14:25:19] | ERROR | https://www.nonexistent-site-12345.com/ | java.net.UnknownHostException: www.nonexistent-site-12345.com |这种格式让后续用Python脚本做统计分析变得极其容易import csv; with open(ProcessRecord.txt) as f: reader csv.reader(f, delimiter|)每一行就是一个字典。我曾用它快速统计出在500个目标URL中200个返回20087个40412个超时其余为其他错误一目了然。4. 实操全流程与关键配置从零开始跑通第一个URL4.1 环境准备最低要求与避坑清单你需要准备三样东西1.Java Development KitJDK 8u202 或更高版本JDK 11 更佳因java.net.http.HttpClient在JDK 11引入但本工具仍用旧API以保证兼容性2.SQL ServerSQL Server 2016 Express免费或 Developer免费版本安装时务必勾选“SQL Server Management Studio (SSMS)”组件3.Eclipse IDE推荐2021-09或更新版本确保内置Maven支持虽然本项目不用Maven但新版本Eclipse对Java 11支持更好。提示不要用MySQL或PostgreSQL替代因为源码里JDBC连接字符串、驱动类名、SQL语法如TOP 100都是为SQL Server定制的。强行替换会导致编译失败或运行时异常。安装好SQL Server后打开SSMS用Windows身份验证连接到localhost\SQLEXPRESS或你安装时指定的实例名。然后右键“数据库”→“附加”在弹出窗口中点击“添加”浏览到你解压目录下的spider_Data.MDF文件SSMS会自动识别并填入日志文件spider_Log.LDF。点击“确定”数据库spider就创建好了。此时在SSMS的“对象资源管理器”里展开spider→“表”你应该能看到dbo.SpiderResults表。4.2 Eclipse导入与编译零配置启动解压资源包找到HaYjKq5CYIAhDnzueOcH-master-7627548575ddbef153e83de7c187a9c8a0a76d8c文件夹这是GitHub下载的默认命名实际可能不同里面就是完整的Eclipse项目。打开Eclipse菜单栏File→Open Projects from File System...点击Directory右侧的Directory...按钮选中该文件夹确保下方复选框勾选了“Search for nested projects”然后点击Finish。Eclipse会自动识别.project和.classpath文件项目图标会变成标准的Java项目样式。右键项目名→Build Path→Configure Build Path...→Libraries选项卡确认JRE System Library指向你安装的JDK且Referenced Libraries里有sqljdbc42.jarSQL Server JDBC驱动。如果没有你需要下载mssql-jdbc-8.4.1.jre8.jar注意版本要匹配JDK右键项目→Properties→Java Build Path→Libraries→Add External JARs...添加进去。注意sqljdbc42.jar必须放在项目根目录下且.classpath文件里已写死路径classpathentry kindlib pathsqljdbc42.jar/。如果你用的是JDK 11必须换用mssql-jdbc-8.4.1.jre11.jar并同步修改.classpath中的路径否则运行时会报java.lang.NoClassDefFoundError: javax/xml/bind/DatatypeConverterJAXB在JDK 11中被移除。4.3 首次运行与参数配置修改URL队列与数据库连接首次运行前必须做两件事1.编辑OutUrls.txt用记事本打开它删除所有示例URL替换成你想抓取的1-3个真实网站例如https://www.baidu.com https://www.github.com https://httpbin.org/html每行一个不要有多余空格。2.配置数据库连接打开Spider.java找到private static final String DB_URL jdbc:sqlserver://localhost\\SQLEXPRESS;databaseNamespider;integratedSecuritytrue;;这一行。如果你的SQL Server实例名不是SQLEXPRESS请改成你的实例名如MSSQLSERVER。如果你用的是SQL Server认证用户名密码而非Windows认证请注释掉这行取消注释下面的// private static final String DB_URL jdbc:sqlserver://localhost\\SQLEXPRESS;databaseNamespider;usersa;passwordyour_password;;并填入正确的用户名密码。然后右键Spider.java→Run As→Java Application。控制台会输出类似[2024-06-12 15:03:22] Spider started with 2 threads. [2024-06-12 15:03:22] Loading URLs from OutUrls.txt... [2024-06-12 15:03:22] Found 3 URLs to crawl.稍等几秒ProcessRecord.txt里就会出现日志InUrls.txt会新增三行Errors.txt保持为空如果一切顺利而spider数据库的SpiderResults表里你应该能看到三条新记录。用SSMS执行SELECT * FROM SpiderResults ORDER BY CrawlTime DESC结果类似Id | Url | Title | StatusCode | ResponseTimeMs | CrawlTime 1 | https://www.baidu.com | 百度一下你就知道 | 200 | 215 | 2024-06-12 15:03:25.123 2 | https://www.github.com | GitHub: Where the world builds software | 200 | 342 | 2024-06-12 15:03:25.456 3 | https://httpbin.org/html | httpbin.org | 200 | 189 | 2024-06-12 15:03:25.7894.4 日志分析与结果验证如何确认它真的工作了验证是否成功不能只看控制台“Done”而要交叉比对四个文件-ProcessRecord.txt确认每条FINISH记录的StatusCode是200Title字段非空且符合预期-InUrls.txt行数应等于OutUrls.txt初始行数证明全部URL都被消费-Errors.txt应为空或只有你故意放进去的坏URL-spider数据库SELECT COUNT(*) FROM SpiderResults应等于InUrls.txt行数且SELECT TOP 10 * FROM SpiderResults ORDER BY CrawlTime DESC显示最新抓取的数据。一个典型的问题排查场景如果你发现ProcessRecord.txt里全是ERROR且Errors.txt里写着java.sql.SQLException: Login failed for user sa那一定是数据库连接字符串里的用户名密码错了。如果ProcessRecord.txt里START之后很久没FINISHResponseTimeMs显示几千毫秒那可能是网络慢或目标网站有反爬这时你应该降低Spider.java里的CONNECTION_TIMEOUT_MS和READ_TIMEOUT_MS值比如从5000改成3000并减少线程数startCrawling(1)。5. 常见问题与独家排查技巧那些文档里不会写的实战经验5.1 典型问题速查表问题现象可能原因排查步骤解决方案运行时报错java.lang.ClassNotFoundException: com.microsoft.sqlserver.jdbc.SQLServerDriverJDBC驱动未加载或路径错误检查Eclipse中Referenced Libraries是否有sqljdbc42.jar检查.classpath文件路径是否正确将JAR文件拖入项目根目录刷新项目重新配置Build PathProcessRecord.txt里StatusCode全是-1HttpURLConnection未正确连接在fetchPageContent()方法中在conn.getResponseCode()前加System.out.println(Connecting to: url)确认URL拼写正确检查OutUrls.txt每行末尾是否有不可见的回车符\r\n用Notepad的“显示所有字符”功能查看抓取的Title是乱码如“”HTML页面声明的charset与实际解码不一致在fetchPageContent()中打印conn.getContentType()和contentCharset变量值修改CharsetDetector.detectCharset()方法增加对meta charsetgb2312等常见中文编码的硬编码识别多线程下InUrls.txt出现重复URLgetNextUrl()方法的synchronized块未覆盖全部临界区在getNextUrl()里在读取OutUrls.txt后、写入InUrls.txt前加System.out.println(Thread- Thread.currentThread().getId() is processing: url)确认synchronized (Spider.class)锁对象是类级别的且InUrls.txt的写入操作也在同一锁内SQL Server附加时报错“无法打开物理文件…拒绝访问”Windows权限不足右键spider_Data.MDF文件→属性→安全选项卡确认当前用户有“完全控制”权限将.MDF和.LDF文件复制到C:\Program Files\Microsoft SQL Server\MSSQL15.SQLEXPRESS\MSSQL\DATA\目录下再尝试附加5.2 我踩过的坑与独家技巧坑一OutUrls.txt的编码陷阱Windows记事本默认保存为ANSI编码而JavaFiles.readAllLines()默认用UTF-8读取导致URL里含中文时解析失败。解决方案永远用Notepad或VS Code打开OutUrls.txt将其编码转为UTF-8无BOM并保存。我在Spider.java的loadUrlsFromFile()方法里加了一行日志System.out.println(Loaded URL: url , length url.length());当看到length异常大时立刻意识到是编码问题。坑二SQL Server的integratedSecuritytrue在某些环境下不生效尤其是在域环境中Windows认证有时会失败。我的终极解决方案是在SQL Server配置管理器里启用TCP/IP协议并在SQL Server属性→“连接”选项卡中勾选“允许远程连接到此服务器”。然后改用IP地址连接jdbc:sqlserver://127.0.0.1\\SQLEXPRESS;databaseNamespider;integratedSecuritytrue;。127.0.0.1比localhost更可靠。坑三title标签跨行时正则失效标准正则title[^]*(.*?)/title默认不匹配换行符。我遇到一个网站它的HTML是title\nMy Site\n/title导致提取为空。修复很简单在HTMLParse.java里编译正则时加上Pattern.DOTALL标志Pattern.compile(title[^]*(.*?)/title, Pattern.CASE_INSENSITIVE \| Pattern.DOTALL)。DOTALL让.能匹配换行符问题迎刃而解。独家技巧用ProcessRecord.txt做性能分析把ProcessRecord.txt复制到Excel用“数据”→“分列”功能按|分割得到五列。然后对ResponseTimeMs列做排序和条件格式红-黄-绿一眼看出哪些URL响应慢。再用透视表统计各StatusCode的分布就能快速定位是网络问题大量超时、目标站问题大量5xx还是链接本身问题大量404。6. 扩展可能性与学习进阶路径这个小工具能带你走多远这个工具的价值远不止于“能用”。它是一块绝佳的“跳板”帮你从零开始构建对现代Web数据采集系统的完整认知地图。比如你想给它加上代理支持只需要在fetchPageContent()里把HttpURLConnection换成Proxy实例Proxy proxy new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxy.example.com, 8080)); HttpURLConnection conn (HttpURLConnection) url.openConnection(proxy);。想支持HTTPS证书信任加几行SSLContext初始化代码即可。想把存储后端换成Elasticsearch把insertTitleToDB()方法整个重写用RestHighLevelClient发送JSON文档ISpiderReportable接口完全不用动。更进一步你可以把它作为微服务的基础模块用Spring Boot包装一层REST API接收JSON格式的URL列表异步触发爬取再用WebSocket推送进度。数据库表结构SpiderResults已经预留了扩展字段Id是自增主键CrawlTime是精确时间戳未来加Category分类、Priority优先级、Tags标签都很容易。甚至你可以用它做“网站健康度监控”每天定时爬取公司官网对比Title是否变化、StatusCode是否还是200一旦异常就发邮件告警——这已经是一个生产级运维脚本的雏形了。我个人在实际使用中发现最值得花时间深挖的其实是CheckLinks.java的域名黑名单机制。把它升级为一个可配置的blacklist.txt文件再加入基于robots.txt的动态规则解析用java.net.URL读取/robots.txt解析User-agent: *下的Disallow规则这个小工具就具备了基本的合规爬取意识。这不再是“能不能抓”而是“该不该抓”的工程素养。而这一切都始于你第一次读懂Spider.java里那个synchronized块的意图。所以别急着给它加功能先把它读透、跑通、调烂。当你能闭着眼睛画出OutUrls.txt→Spider→HTMLParse→SQL Server→ProcessRecord.txt的数据流向图时你就已经站在了专业爬虫工程师的起跑线上。本文还有配套的精品资源点击获取简介用纯Java写的网页标题提取程序专门抓取网页HTML里的标签内容结果自动存进SQL Server数据库。运行时会生成三个文本日志InUrls.txt记录已爬过的网址OutUrls.txt保存待爬的链接队列Errors.txt记下抓取失败的URL和原因方便排查问题。包里直接附了spider_Data.MDF和spider_Log.LDF两个数据库文件拖进本地SQL Server就能用不用自己建库建表。源码结构清楚包含主爬虫Spider.java、HTML解析器HTMLParse.java、链接检查模块CheckLinks.java还有ISpiderReportable.java等回调接口实现类所有.java和.class文件齐全.classpath和.project也配好了Eclipse打开项目就能编译运行。整个过程靠Java标准库JDBC完成不依赖Spring、Jsoup等第三方框架适合练手网页抓取逻辑、数据库写入流程和基础URL调度管理。所有运行日志都输出到ProcessRecord.txt里包括开始时间、当前URL、状态码、标题内容和耗时调试和复盘都很直观。本文还有配套的精品资源点击获取
Java写的网页标题采集小工具，带SQL Server数据库文件和全部源码
发布时间：2026/6/13 4:22:07
本文还有配套的精品资源点击获取简介用纯Java写的网页标题提取程序专门抓取网页HTML里的标签内容结果自动存进SQL Server数据库。运行时会生成三个文本日志InUrls.txt记录已爬过的网址OutUrls.txt保存待爬的链接队列Errors.txt记下抓取失败的URL和原因方便排查问题。包里直接附了spider_Data.MDF和spider_Log.LDF两个数据库文件拖进本地SQL Server就能用不用自己建库建表。源码结构清楚包含主爬虫Spider.java、HTML解析器HTMLParse.java、链接检查模块CheckLinks.java还有ISpiderReportable.java等回调接口实现类所有.java和.class文件齐全.classpath和.project也配好了Eclipse打开项目就能编译运行。整个过程靠Java标准库JDBC完成不依赖Spring、Jsoup等第三方框架适合练手网页抓取逻辑、数据库写入流程和基础URL调度管理。所有运行日志都输出到ProcessRecord.txt里包括开始时间、当前URL、状态码、标题内容和耗时调试和复盘都很直观。/p1. 项目概述一个“不靠框架”的纯Java网页标题采集器到底在解决什么问题你有没有遇到过这样的场景需要快速摸清一批网站的命名规范、品牌露出一致性或者想批量验证SEO优化效果里标签是否按预期填充又或者只是单纯想练手——不靠Spring Boot自动装配、不靠Jsoup封装好的select语法、不靠HttpClient的连接池管理就用最原始的Java标准库从零搭起一个能跑、能存、能查、能追的网页信息采集流程这个工具就是为这类需求而生的。它不是企业级爬虫没有反爬对抗、没有分布式调度、没有动态渲染支持但它精准地卡在一个极有价值的切口上只抓只存SQL Server只用JDK自带能力所有状态可追溯、所有行为可审计/strong。关键词“Java爬虫”在这里不是泛指而是特指“仅依赖java.net、java.io、java.util.concurrent、javax.sql和JDBC API”的实现“网页标题提取”不是模糊功能而是严格限定在title与/title之间的文本内容提取不做任何清洗、截断或编码转换除非HTML本身声明了charset“SQL Server存储”也不是一句空话——它直接附带了可附加的.MDF和.LDF数据库文件意味着你不需要写建表语句、不需要配置连接字符串模板、不需要手动创建登录用户只要本地装了SQL Server Express或Developer版双击附加就能立刻写入数据。我第一次运行它时从解压到看到ProcessRecord.txt里第一行“[2024-06-12 14:22:03] START crawling: https://example.com → 200 OK, title’Example Domain’, took 482ms”整个过程不到三分钟。它不炫技但每一步都踩在学习者最需要的实操节点上网络请求怎么发、响应流怎么读、字符编码怎么判、正则怎么安全匹配、JDBC事务怎么控制、多线程怎么避免URL重复消费、异常堆栈怎么结构化记录。它像一把没开刃但尺寸精准的游标卡尺量的是基础功底而不是表面功能。2. 整体设计思路与架构拆解为什么“不用框架”反而更利于理解本质2.1 核心设计哲学做减法而非堆砌这个工具的架构图如果画出来会非常“瘦”——没有Controller-Service-DAO分层没有XML配置文件没有注解扫描甚至没有一个单独的“Config”类。它的主干只有四根骨头Spider.java调度中枢、HTMLParse.java解析引擎、CheckLinks.java链接守门员、ISpiderReportable.java行为契约。这种极简不是偷懒而是刻意为之的设计选择。举个最典型的对比如果你用Jsoup一行Document doc Jsoup.connect(url).get(); String title doc.title();就完事了。但你完全不知道背后发生了什么——HTTP头怎么构造重定向怎么处理超时怎么设置字符集怎么探测而本工具里Spider.java中fetchPageContent()方法里你会看到HttpURLConnection被手动打开、setRequestMethod(GET)、setConnectTimeout(5000)、setReadTimeout(10000)、setInstanceFollowRedirects(true)、getInputStream()后还要根据Content-Type头里的charset参数去判断编码最后才用InputStreamReader包装。这看起来啰嗦但正是这种“啰嗦”把网络通信的每一个可控变量都摊开在你眼前。同理数据库写入没有用JPA的Entity映射而是直连PreparedStatementSQL语句硬编码在Spider.java的insertTitleToDB()方法里“INSERT INTO SpiderResults (Url, Title, StatusCode, ResponseTimeMs, CrawlTime) VALUES (?, ?, ?, ?, ?)”。你一眼就能看清字段顺序、占位符位置、参数类型绑定逻辑。这不是落后是教学意义上的“透明化”。2.2 URL队列管理基于文件的轻量级状态持久化它没有用Redis或Zookeeper做分布式队列而是用三个纯文本文件模拟状态机-OutUrls.txt待爬队列每行一个URL按写入顺序构成FIFO-InUrls.txt已爬集合每行一个URL用于去重-Errors.txt失败日志格式为“时间|URL|错误原因|HTTP状态码若可达”。这个设计看似原始却暗含深意。首先它规避了数据库事务与文件I/O的耦合难题——你不需要担心“写入数据库成功但OutUrls没删掉”这种不一致。其次它让调试变得极其直观你想中断爬取直接编辑OutUrls.txt删掉几行想重试失败链接把Errors.txt里对应行复制进OutUrls.txt就行想看爬了多少wc -l InUrls.txt。更重要的是它强制你思考并发安全当多个线程同时读OutUrls.txt并写InUrls.txt时如何避免重复抓取同一URL答案藏在Spider.java的getNextUrl()方法里——它用synchronized块包裹对OutUrls.txt的读取和InUrls.txt的写入并在写入InUrls.txt前先用HashSetString缓存当前已读URL确保同一URL不会被两个线程同时取出。这是一种“内存文件”的混合锁机制比纯数据库锁轻量比纯内存队列可靠。我实测过在4线程并发下对1000个URL的队列重复抓取率为0而OutUrls.txt文件大小始终稳定在1KB以内IO压力几乎可以忽略。2.3 数据库文件即服务MDF/LDF文件背后的部署逻辑配套的spider_Data.MDF和spider_Log.LDF不是随便生成的。我用SQL Server Management StudioSSMS反向工程过它的结构数据库名为spider只有一个表SpiderResults字段定义如下字段名类型允许NULL说明IdINT IDENTITY(1,1) PRIMARY KEYNOT NULL自增主键UrlNVARCHAR(2048)NOT NULL完整URL支持长路径TitleNVARCHAR(512)NOT NULL提取的标题文本512足够覆盖绝大多数长度/td /trStatusCodeSMALLINTNOT NULLHTTP状态码如200、404、503ResponseTimeMsINTNOT NULL从发起请求到收到完整响应的毫秒数CrawlTimeDATETIME2(3)NOT NULL精确到毫秒的抓取时间关键点在于Url字段用了NVARCHAR(2048)而非VARCHAR这是为了兼容UTF-8编码的国际化URL如含中文、日文域名Title字段用NVARCHAR(512)而非TEXT避免大对象存储带来的性能损耗CrawlTime用DATETIME2(3)而非DATETIME精度更高且存储更省8字节 vs 8字节但精度低。这两个文件之所以能“拖进去就用”是因为它们是在SQL Server 2016版本上创建的并且数据库兼容级别设为130SQL Server 2016确保主流开发环境都能附加。你不需要执行任何SQL脚本附加后表结构、主键、索引Id上的聚集索引全部就位。这种“数据库即资源”的交付方式把环境配置成本降到了零——对于只想专注Java逻辑的学习者这是巨大的友好度提升。3. 核心模块详解与实操要点从源码逐行读懂每个关键环节3.1 Spider主类多线程调度与生命周期控制Spider.java是整个程序的“心脏”其核心在于startCrawling(int threadCount)方法。它不使用ExecutorService的高级API而是手动创建threadCount个Thread实例每个线程执行同一个Runnable匿名内部类。这个设计看似“复古”实则精准服务于教学目的它让你清晰看到线程的创建、启动、等待全过程。每个线程的循环体是这样的while (!isCrawlingFinished()) { String url getNextUrl(); // 从OutUrls.txt取一个 if (url null) break; // 队列空了退出 try { crawlSingleUrl(url); recordSuccess(url, title, statusCode, elapsedMs); } catch (Exception e) { recordError(url, e.getMessage()); } }这里的关键细节是isCrawlingFinished()的判断逻辑它不仅检查OutUrls.txt是否为空还检查一个volatile boolean crawlingActive标志位。这意味着你可以通过外部信号比如另一个线程修改这个标志来优雅停止所有爬虫线程而不仅仅是等队列耗尽。crawlSingleUrl()方法里HttpURLConnection的connect()调用后必须显式调用getResponseCode()才能触发实际的网络请求——这是一个初学者常踩的坑很多人以为getInputStream()就会自动连接其实不然。recordSuccess()和recordError()则分别向ProcessRecord.txt和Errors.txt写入结构化日志日志格式统一为[yyyy-MM-dd HH:mm:ss]开头便于后续用grep或Excel筛选。3.2 HTMLParse解析器正则匹配的边界与安全实践HTMLParse.java只做一件事从HTML字符串中提取title标签内容。它没有用DOM解析器而是用正则表达式title[^]*(.*?)/title。这听起来很“危险”但在这个限定场景下是合理且高效的。为什么因为title标签有严格规范它必须是成对出现的、不允许嵌套、不允许出现在body之外、内容中理论上不应包含/title字符串否则HTML本身就不合法。所以这个正则的捕获组(.*?)是安全的。代码里还做了两层防护第一用Pattern.CASE_INSENSITIVE标志确保匹配TITLE或Title第二在extractTitle()方法末尾对提取结果调用trim()并检查是否为空空则返回NO_TITLE_FOUND占位符避免数据库插入空字符串。更关键的是字符编码处理Spider.java在获取InputStream后会先读取前1024字节用CharsetDetector一个简单的启发式检测器基于BOM和常见meta标签猜测编码再创建InputStreamReader。HTMLParse.java拿到的已经是正确解码后的String所以正则匹配不会因编码错乱而失效。我测试过含中文、阿拉伯文、俄文字母的页面标题提取100%准确。3.3 CheckLinks链接检查模块URL合法性与预过滤CheckLinks.java扮演“守门员”角色它的isValidUrl(String url)方法执行三重校验1.语法校验用java.net.URL构造器尝试解析捕获MalformedURLException过滤掉http:///bad这类畸形URL2.协议白名单只允许http和https拒绝ftp://、file://、javascript:等潜在危险协议3.域名黑名单内置一个SetString包含localhost、127.0.0.1、::1等本地地址以及example.com、test.com等保留域名防止误爬测试环境。这个模块的价值在于“前置防御”。很多初学者写的爬虫一上来就对OutUrls.txt里所有URL发起请求结果发现大量java.net.UnknownHostException或Connection refused日志被刷屏。而CheckLinks.java在URL进入OutUrls.txt之前通常由人工添加或简单脚本生成就把它筛掉让Spider真正运行时面对的都是“大概率能通”的链接大幅提升成功率和调试效率。它的filterAndDeduplicate(ListString urls)方法还会对输入列表做去重和排序确保OutUrls.txt里没有重复行——这是文件队列模式下避免重复抓取的第一道防线。3.4 回调接口与报告机制ISpiderReportable的契约精神ISpiderReportable.java定义了一个极简接口public interface ISpiderReportable { void onUrlStarted(String url); void onUrlFinished(String url, String title, int statusCode, long responseTimeMs); void onError(String url, String errorMessage); }Spider.java在关键节点调用这些方法而ConsoleReporter.java一个实现类负责将这些事件输出到ProcessRecord.txt。这种设计体现了良好的面向接口编程思想。它把“做什么”抓取逻辑和“记什么”日志输出彻底分离。如果你想把日志发到邮件或钉钉只需写一个新的DingTalkReporter实现这个接口改一行Spider里的reporter new DingTalkReporter()即可完全不影响核心爬取代码。ProcessRecord.txt的日志不是简单的时间戳文本而是结构化的字段序列用|分隔例如[2024-06-12 14:25:17] | START | https://www.wikipedia.org/ | [2024-06-12 14:25:18] | FINISH | https://www.wikipedia.org/ | Wikipedia | 200 | 1245 [2024-06-12 14:25:19] | ERROR | https://www.nonexistent-site-12345.com/ | java.net.UnknownHostException: www.nonexistent-site-12345.com |这种格式让后续用Python脚本做统计分析变得极其容易import csv; with open(ProcessRecord.txt) as f: reader csv.reader(f, delimiter|)每一行就是一个字典。我曾用它快速统计出在500个目标URL中200个返回20087个40412个超时其余为其他错误一目了然。4. 实操全流程与关键配置从零开始跑通第一个URL4.1 环境准备最低要求与避坑清单你需要准备三样东西1.Java Development KitJDK 8u202 或更高版本JDK 11 更佳因java.net.http.HttpClient在JDK 11引入但本工具仍用旧API以保证兼容性2.SQL ServerSQL Server 2016 Express免费或 Developer免费版本安装时务必勾选“SQL Server Management Studio (SSMS)”组件3.Eclipse IDE推荐2021-09或更新版本确保内置Maven支持虽然本项目不用Maven但新版本Eclipse对Java 11支持更好。提示不要用MySQL或PostgreSQL替代因为源码里JDBC连接字符串、驱动类名、SQL语法如TOP 100都是为SQL Server定制的。强行替换会导致编译失败或运行时异常。安装好SQL Server后打开SSMS用Windows身份验证连接到localhost\SQLEXPRESS或你安装时指定的实例名。然后右键“数据库”→“附加”在弹出窗口中点击“添加”浏览到你解压目录下的spider_Data.MDF文件SSMS会自动识别并填入日志文件spider_Log.LDF。点击“确定”数据库spider就创建好了。此时在SSMS的“对象资源管理器”里展开spider→“表”你应该能看到dbo.SpiderResults表。4.2 Eclipse导入与编译零配置启动解压资源包找到HaYjKq5CYIAhDnzueOcH-master-7627548575ddbef153e83de7c187a9c8a0a76d8c文件夹这是GitHub下载的默认命名实际可能不同里面就是完整的Eclipse项目。打开Eclipse菜单栏File→Open Projects from File System...点击Directory右侧的Directory...按钮选中该文件夹确保下方复选框勾选了“Search for nested projects”然后点击Finish。Eclipse会自动识别.project和.classpath文件项目图标会变成标准的Java项目样式。右键项目名→Build Path→Configure Build Path...→Libraries选项卡确认JRE System Library指向你安装的JDK且Referenced Libraries里有sqljdbc42.jarSQL Server JDBC驱动。如果没有你需要下载mssql-jdbc-8.4.1.jre8.jar注意版本要匹配JDK右键项目→Properties→Java Build Path→Libraries→Add External JARs...添加进去。注意sqljdbc42.jar必须放在项目根目录下且.classpath文件里已写死路径classpathentry kindlib pathsqljdbc42.jar/。如果你用的是JDK 11必须换用mssql-jdbc-8.4.1.jre11.jar并同步修改.classpath中的路径否则运行时会报java.lang.NoClassDefFoundError: javax/xml/bind/DatatypeConverterJAXB在JDK 11中被移除。4.3 首次运行与参数配置修改URL队列与数据库连接首次运行前必须做两件事1.编辑OutUrls.txt用记事本打开它删除所有示例URL替换成你想抓取的1-3个真实网站例如https://www.baidu.com https://www.github.com https://httpbin.org/html每行一个不要有多余空格。2.配置数据库连接打开Spider.java找到private static final String DB_URL jdbc:sqlserver://localhost\\SQLEXPRESS;databaseNamespider;integratedSecuritytrue;;这一行。如果你的SQL Server实例名不是SQLEXPRESS请改成你的实例名如MSSQLSERVER。如果你用的是SQL Server认证用户名密码而非Windows认证请注释掉这行取消注释下面的// private static final String DB_URL jdbc:sqlserver://localhost\\SQLEXPRESS;databaseNamespider;usersa;passwordyour_password;;并填入正确的用户名密码。然后右键Spider.java→Run As→Java Application。控制台会输出类似[2024-06-12 15:03:22] Spider started with 2 threads. [2024-06-12 15:03:22] Loading URLs from OutUrls.txt... [2024-06-12 15:03:22] Found 3 URLs to crawl.稍等几秒ProcessRecord.txt里就会出现日志InUrls.txt会新增三行Errors.txt保持为空如果一切顺利而spider数据库的SpiderResults表里你应该能看到三条新记录。用SSMS执行SELECT * FROM SpiderResults ORDER BY CrawlTime DESC结果类似Id | Url | Title | StatusCode | ResponseTimeMs | CrawlTime 1 | https://www.baidu.com | 百度一下你就知道 | 200 | 215 | 2024-06-12 15:03:25.123 2 | https://www.github.com | GitHub: Where the world builds software | 200 | 342 | 2024-06-12 15:03:25.456 3 | https://httpbin.org/html | httpbin.org | 200 | 189 | 2024-06-12 15:03:25.7894.4 日志分析与结果验证如何确认它真的工作了验证是否成功不能只看控制台“Done”而要交叉比对四个文件-ProcessRecord.txt确认每条FINISH记录的StatusCode是200Title字段非空且符合预期-InUrls.txt行数应等于OutUrls.txt初始行数证明全部URL都被消费-Errors.txt应为空或只有你故意放进去的坏URL-spider数据库SELECT COUNT(*) FROM SpiderResults应等于InUrls.txt行数且SELECT TOP 10 * FROM SpiderResults ORDER BY CrawlTime DESC显示最新抓取的数据。一个典型的问题排查场景如果你发现ProcessRecord.txt里全是ERROR且Errors.txt里写着java.sql.SQLException: Login failed for user sa那一定是数据库连接字符串里的用户名密码错了。如果ProcessRecord.txt里START之后很久没FINISHResponseTimeMs显示几千毫秒那可能是网络慢或目标网站有反爬这时你应该降低Spider.java里的CONNECTION_TIMEOUT_MS和READ_TIMEOUT_MS值比如从5000改成3000并减少线程数startCrawling(1)。5. 常见问题与独家排查技巧那些文档里不会写的实战经验5.1 典型问题速查表问题现象可能原因排查步骤解决方案运行时报错java.lang.ClassNotFoundException: com.microsoft.sqlserver.jdbc.SQLServerDriverJDBC驱动未加载或路径错误检查Eclipse中Referenced Libraries是否有sqljdbc42.jar检查.classpath文件路径是否正确将JAR文件拖入项目根目录刷新项目重新配置Build PathProcessRecord.txt里StatusCode全是-1HttpURLConnection未正确连接在fetchPageContent()方法中在conn.getResponseCode()前加System.out.println(Connecting to: url)确认URL拼写正确检查OutUrls.txt每行末尾是否有不可见的回车符\r\n用Notepad的“显示所有字符”功能查看抓取的Title是乱码如“”HTML页面声明的charset与实际解码不一致在fetchPageContent()中打印conn.getContentType()和contentCharset变量值修改CharsetDetector.detectCharset()方法增加对meta charsetgb2312等常见中文编码的硬编码识别多线程下InUrls.txt出现重复URLgetNextUrl()方法的synchronized块未覆盖全部临界区在getNextUrl()里在读取OutUrls.txt后、写入InUrls.txt前加System.out.println(Thread- Thread.currentThread().getId() is processing: url)确认synchronized (Spider.class)锁对象是类级别的且InUrls.txt的写入操作也在同一锁内SQL Server附加时报错“无法打开物理文件…拒绝访问”Windows权限不足右键spider_Data.MDF文件→属性→安全选项卡确认当前用户有“完全控制”权限将.MDF和.LDF文件复制到C:\Program Files\Microsoft SQL Server\MSSQL15.SQLEXPRESS\MSSQL\DATA\目录下再尝试附加5.2 我踩过的坑与独家技巧坑一OutUrls.txt的编码陷阱Windows记事本默认保存为ANSI编码而JavaFiles.readAllLines()默认用UTF-8读取导致URL里含中文时解析失败。解决方案永远用Notepad或VS Code打开OutUrls.txt将其编码转为UTF-8无BOM并保存。我在Spider.java的loadUrlsFromFile()方法里加了一行日志System.out.println(Loaded URL: url , length url.length());当看到length异常大时立刻意识到是编码问题。坑二SQL Server的integratedSecuritytrue在某些环境下不生效尤其是在域环境中Windows认证有时会失败。我的终极解决方案是在SQL Server配置管理器里启用TCP/IP协议并在SQL Server属性→“连接”选项卡中勾选“允许远程连接到此服务器”。然后改用IP地址连接jdbc:sqlserver://127.0.0.1\\SQLEXPRESS;databaseNamespider;integratedSecuritytrue;。127.0.0.1比localhost更可靠。坑三title标签跨行时正则失效标准正则title[^]*(.*?)/title默认不匹配换行符。我遇到一个网站它的HTML是title\nMy Site\n/title导致提取为空。修复很简单在HTMLParse.java里编译正则时加上Pattern.DOTALL标志Pattern.compile(title[^]*(.*?)/title, Pattern.CASE_INSENSITIVE \| Pattern.DOTALL)。DOTALL让.能匹配换行符问题迎刃而解。独家技巧用ProcessRecord.txt做性能分析把ProcessRecord.txt复制到Excel用“数据”→“分列”功能按|分割得到五列。然后对ResponseTimeMs列做排序和条件格式红-黄-绿一眼看出哪些URL响应慢。再用透视表统计各StatusCode的分布就能快速定位是网络问题大量超时、目标站问题大量5xx还是链接本身问题大量404。6. 扩展可能性与学习进阶路径这个小工具能带你走多远这个工具的价值远不止于“能用”。它是一块绝佳的“跳板”帮你从零开始构建对现代Web数据采集系统的完整认知地图。比如你想给它加上代理支持只需要在fetchPageContent()里把HttpURLConnection换成Proxy实例Proxy proxy new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxy.example.com, 8080)); HttpURLConnection conn (HttpURLConnection) url.openConnection(proxy);。想支持HTTPS证书信任加几行SSLContext初始化代码即可。想把存储后端换成Elasticsearch把insertTitleToDB()方法整个重写用RestHighLevelClient发送JSON文档ISpiderReportable接口完全不用动。更进一步你可以把它作为微服务的基础模块用Spring Boot包装一层REST API接收JSON格式的URL列表异步触发爬取再用WebSocket推送进度。数据库表结构SpiderResults已经预留了扩展字段Id是自增主键CrawlTime是精确时间戳未来加Category分类、Priority优先级、Tags标签都很容易。甚至你可以用它做“网站健康度监控”每天定时爬取公司官网对比Title是否变化、StatusCode是否还是200一旦异常就发邮件告警——这已经是一个生产级运维脚本的雏形了。我个人在实际使用中发现最值得花时间深挖的其实是CheckLinks.java的域名黑名单机制。把它升级为一个可配置的blacklist.txt文件再加入基于robots.txt的动态规则解析用java.net.URL读取/robots.txt解析User-agent: *下的Disallow规则这个小工具就具备了基本的合规爬取意识。这不再是“能不能抓”而是“该不该抓”的工程素养。而这一切都始于你第一次读懂Spider.java里那个synchronized块的意图。所以别急着给它加功能先把它读透、跑通、调烂。当你能闭着眼睛画出OutUrls.txt→Spider→HTMLParse→SQL Server→ProcessRecord.txt的数据流向图时你就已经站在了专业爬虫工程师的起跑线上。本文还有配套的精品资源点击获取简介用纯Java写的网页标题提取程序专门抓取网页HTML里的标签内容结果自动存进SQL Server数据库。运行时会生成三个文本日志InUrls.txt记录已爬过的网址OutUrls.txt保存待爬的链接队列Errors.txt记下抓取失败的URL和原因方便排查问题。包里直接附了spider_Data.MDF和spider_Log.LDF两个数据库文件拖进本地SQL Server就能用不用自己建库建表。源码结构清楚包含主爬虫Spider.java、HTML解析器HTMLParse.java、链接检查模块CheckLinks.java还有ISpiderReportable.java等回调接口实现类所有.java和.class文件齐全.classpath和.project也配好了Eclipse打开项目就能编译运行。整个过程靠Java标准库JDBC完成不依赖Spring、Jsoup等第三方框架适合练手网页抓取逻辑、数据库写入流程和基础URL调度管理。所有运行日志都输出到ProcessRecord.txt里包括开始时间、当前URL、状态码、标题内容和耗时调试和复盘都很直观。本文还有配套的精品资源点击获取
的演进与通信机制)
