发现一个很实用的开源项目把 X 推荐流自动抓取并归档到自己的系统里项目地址https://github.com/MuShan-bit/auto-x-to-wechat最近在 GitHub 上看到一个挺有意思的开源项目auto-x-to-wechat。如果你平时会在 X 上刷到不少有价值的内容但又苦于内容流转太快、后续难检索、难沉淀那这个项目值得看一眼。它做的不是简单“抓几条数据展示一下”的 Demo而是围绕“真实账号绑定 - 定时抓取推荐流 - 去重归档 - 富文本展示 - 运行记录回查”这条链路做出了一套比较完整的 MVP。从仓库当前公开的信息来看这个项目已经具备几个很实用的点。1. 支持真实 X 账号绑定不是只让你手动填 Cookie而是通过浏览器辅助绑定的方式让用户手动登录 X系统再自动回填账号信息和 Cookie。这个设计很重要因为很多相关项目停留在“需要用户自己导 Cookie”的阶段真实可用性并不高。2. 支持 Playwright 驱动的真实推荐流抓取也就是说它不是只做一个 Mock 接口而是已经把真实页面抓取这一步接进去了。对于想做内容归档、信息流沉淀、二次处理的人来说这一步决定了项目是不是“能跑起来”。3. 做了去重和归档抓回来的内容并不会简单堆在数据库里而是按照绑定账号和帖子 ID 去重避免重复抓取、重复展示。这一点对定时任务场景尤其关键不然数据很快就会失控。4. 前后端展示链路已经比较完整项目不是只有后端接口前端已经有 Dashboard、Bindings、Archives、Runs 等页面支持分页查看归档内容、查看任务执行记录、看错误摘要和运行详情。对想二次开发的人来说这种“前后端闭环”比只有接口的仓库更有参考价值。5. 技术栈比较现代适合做真实项目这个项目采用的是比较主流的一套技术组合前端Next.js 16 TypeScript Tailwind CSS ShadCN / Base UI后端NestJS Prisma数据库PostgreSQL认证NextAuth.js抓取Playwright部署Docker Compose也支持 Vercel Neon 的组合这套组合的优点是比较适合真实 Web 项目而不是只适合比赛 Demo。前端负责体验和页面闭环后端负责任务调度、数据处理和抓取执行数据库承担归档和状态记录部署方案也考虑到了本地和线上两种路径。6. 这个项目真正有价值的地方我觉得这个项目比较值得关注的地方不在于“它能抓 X”而在于它把“内容沉淀”这件事做成了一条完整链路用户能绑定真实账号系统能定时执行抓取抓取结果能去重归档归档内容能以富文本方式展示每次任务执行都有记录可回查对于做内容工具、知识管理、社媒归档、信息流分析的人来说这个方向其实很有想象空间。比如后续完全可以继续往这些方向延展自动摘要标签分类RAG 知识库接入微信 / 飞书 / Telegram 分发多账号聚合归档抓取后的内容推荐与检索7. 适合哪些人关注如果你最近正好在找一个“不是从 0 开始”的开源底座或者想看一个较完整的 Next.js NestJS Playwright 实战项目这个仓库可以收藏一下。项目地址https://github.com/MuShan-bit/auto-x-to-wechat如果后续作者继续把抓取稳定性、内容分发和知识库能力补上这个项目的可玩性还会更高。标签建议开源项目Next.jsNestJSPlaywrightPrismaPostgreSQL爬虫内容归档 CSDN-推荐开源项目-auto-x-to-wechat
发现一个很实用的开源项目把 X 推荐流自动抓取并归档到自己的系统里项目地址https://github.com/MuShan-bit/auto-x-to-wechat最近在 GitHub 上看到一个挺有意思的开源项目auto-x-to-wechat。如果你平时会在 X 上刷到不少有价值的内容但又苦于内容流转太快、后续难检索、难沉淀那这个项目值得看一眼。它做的不是简单“抓几条数据展示一下”的 Demo而是围绕“真实账号绑定 - 定时抓取推荐流 - 去重归档 - 富文本展示 - 运行记录回查”这条链路做出了一套比较完整的 MVP。从仓库当前公开的信息来看这个项目已经具备几个很实用的点。1. 支持真实 X 账号绑定不是只让你手动填 Cookie而是通过浏览器辅助绑定的方式让用户手动登录 X系统再自动回填账号信息和 Cookie。这个设计很重要因为很多相关项目停留在“需要用户自己导 Cookie”的阶段真实可用性并不高。2. 支持 Playwright 驱动的真实推荐流抓取也就是说它不是只做一个 Mock 接口而是已经把真实页面抓取这一步接进去了。对于想做内容归档、信息流沉淀、二次处理的人来说这一步决定了项目是不是“能跑起来”。3. 做了去重和归档抓回来的内容并不会简单堆在数据库里而是按照绑定账号和帖子 ID 去重避免重复抓取、重复展示。这一点对定时任务场景尤其关键不然数据很快就会失控。4. 前后端展示链路已经比较完整项目不是只有后端接口前端已经有 Dashboard、Bindings、Archives、Runs 等页面支持分页查看归档内容、查看任务执行记录、看错误摘要和运行详情。对想二次开发的人来说这种“前后端闭环”比只有接口的仓库更有参考价值。5. 技术栈比较现代适合做真实项目这个项目采用的是比较主流的一套技术组合前端Next.js 16 TypeScript Tailwind CSS ShadCN / Base UI后端NestJS Prisma数据库PostgreSQL认证NextAuth.js抓取Playwright部署Docker Compose也支持 Vercel Neon 的组合这套组合的优点是比较适合真实 Web 项目而不是只适合比赛 Demo。前端负责体验和页面闭环后端负责任务调度、数据处理和抓取执行数据库承担归档和状态记录部署方案也考虑到了本地和线上两种路径。6. 这个项目真正有价值的地方我觉得这个项目比较值得关注的地方不在于“它能抓 X”而在于它把“内容沉淀”这件事做成了一条完整链路用户能绑定真实账号系统能定时执行抓取抓取结果能去重归档归档内容能以富文本方式展示每次任务执行都有记录可回查对于做内容工具、知识管理、社媒归档、信息流分析的人来说这个方向其实很有想象空间。比如后续完全可以继续往这些方向延展自动摘要标签分类RAG 知识库接入微信 / 飞书 / Telegram 分发多账号聚合归档抓取后的内容推荐与检索7. 适合哪些人关注如果你最近正好在找一个“不是从 0 开始”的开源底座或者想看一个较完整的 Next.js NestJS Playwright 实战项目这个仓库可以收藏一下。项目地址https://github.com/MuShan-bit/auto-x-to-wechat如果后续作者继续把抓取稳定性、内容分发和知识库能力补上这个项目的可玩性还会更高。标签建议开源项目Next.jsNestJSPlaywrightPrismaPostgreSQL爬虫内容归档