四种爬虫实现：从GitHub、Medium、LinkedIn到通用文章

一、基类BaseCrawler与BaseSeleniumCrawler设计在实现具体爬虫之前，先定义统一的抽象基类。BaseCrawler是一个ABC接口，要求所有子类实现extract(link, **kwargs)方法，并通过model属性指定对应的MongoDB文档类型。fromabcimportABC,abstractmethodclassBaseCrawler(ABC):model:type[NoSQLBaseDocument]@abstractmethoddefextract(self,link:str,**kwargs)-None:...对于需要浏览器自动化操作的平台（如Medium、LinkedIn），扩展了BaseSeleniumCrawler，它继承BaseCrawler，在初始化时配置Chrome options（无头浏览、禁用GPU、禁用通知等），并自动安装chromedriver。子类可以通过重写set_extra_driver_options()和login()方法实现平台特定的配置和登录逻辑。classBaseSeleniumCrawler(BaseCrawler,ABC):def__init__(self,scroll_limit:int=5)-None:options=webdriver.ChromeOptions()options.add_argument("--no-sandbox")options.add_argument("--headless=new")options.add_argument("--disable-dev-shm-usage")# ... 更多配置 ...self.set_extra_driver_options(options)self.scroll_limit=scroll_limit self.driver=webdriver.Chrome(options=options)deflogin(self)-None:pass/