Scrapling 爬蟲系統(tǒng)入門實戰(zhàn)從 Spider 類定義到并發(fā)抓取、鏈接跟蹤與數(shù)據(jù)導(dǎo)出【免費下載鏈接】Scrapling? An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!項目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling本文圍繞 Scrapling 的 spiders 子系統(tǒng)入門指南展開講解如何用最少的代碼定義一個可并發(fā)運行的 Spider包括name/start_urls/parse()三要素、start()的運行機制與CrawlResult統(tǒng)計結(jié)果、response.follow()的多頁鏈接跟蹤、ItemList的 JSON/JSONL/CSV/XML 導(dǎo)出、allowed_domains域過濾與robots_txt_obey合規(guī)抓取并結(jié)合開源倉庫源碼說明其調(diào)度、去重與限速的底層實現(xiàn)。讀完后你可以獨立編寫、運行并導(dǎo)出一個完整的多頁面爬蟲并理解每個配置項在引擎內(nèi)部是如何生效的。前置知識在動手之前建議先熟悉三個基礎(chǔ)頁面Fetchers 基礎(chǔ)了解不同 fetcher 類型靜態(tài) HTTP、動態(tài)瀏覽器、隱身瀏覽器及各自適用場景Main classes理解Selector選擇器與Response對象的用法Architecture對 Spider 系統(tǒng)的整體工作方式有一個高層認識。Spider 系統(tǒng)的目標是讓你用幾行代碼構(gòu)建并發(fā)、多頁面的爬蟲。用過 Scrapy 的開發(fā)者會覺得很眼熟——start_urls、parse、response.follow這些模式幾乎一致沒用過也沒有關(guān)系本文會覆蓋從定義到運行的全部細節(jié)。第一個 Spider三要素一個 Spider 是一個類定義了如何從網(wǎng)站抓取并提取數(shù)據(jù)。最簡單的 Spider 如下from scrapling.spiders import Spider, Response class QuotesSpider(Spider): name quotes start_urls [https://quotes.toscrape.com] async def parse(self, response: Response): for quote in response.css(div.quote): yield { text: quote.css(span.text::text).get(), author: quote.css(small.author::text).get(), }每個 Spider 必須具備三樣?xùn)|西name—— Spider 的唯一標識符。從 Spider 基類 的__init__看若name為None會直接拋出ValueError并且日志器會以scrapling.spiders.{name}命名便于多 Spider 并行時區(qū)分日志。start_urls—— 起始爬取 URL 列表。默認實現(xiàn) start_requests() 會為每個 URL 生成一個Request并綁定默認會話若start_urls為空且沒有覆寫start_requests()引擎會拋出RuntimeError提示沒有起點。parse()—— 一個異步生成器方法處理每個響應(yīng)并通過yield輸出結(jié)果。它繼承自 基類中的抽象方法子類不實現(xiàn)會直接NotImplementedError。parse()是核心所在它使用與 Scrapling 的Selector/Response完全相同的選取方法yield出的字典就是被抓取的數(shù)據(jù)項。從引擎的 _run_callbacks() 看回調(diào)yield的內(nèi)容只接受三種類型dict數(shù)據(jù)項會先經(jīng)過on_scraped_item鉤子處理、Request后續(xù)請求或None返回其他類型會記錄一條 error 日志。運行 Spiderstart() 與 CrawlResult運行 Spider 只需實例化后調(diào)用start()result QuotesSpider().start()start()方法內(nèi)部處理了所有異步機制無需關(guān)心事件循環(huán)。從 start() 的源碼 可以看到它通過anyio.run在 asyncio 后端上運行內(nèi)部__run()協(xié)程并支持以下行為日志爬蟲運行期間所有事件都會輸出到終端格式由logging_format控制默認帶時間戳和 Spider 名爬取結(jié)束時會在終端打印一份非常詳細的統(tǒng)計 JSON。優(yōu)雅暫停start()會注冊 SIGINT 處理器——按一次 CtrlC 請求優(yōu)雅暫停等待在途請求完成若配置了crawldir還會保存檢查點以便之后恢復(fù)再按一次則強制立即停止?？蛇x參數(shù)start(use_uvloopTrue)可在可用時切換為更快的 uvloop/winloop 事件循環(huán)backend_options會透傳給anyio.run。爬取結(jié)束后所有信息都封裝在返回的CrawlResult對象中result QuotesSpider().start() # 訪問抓取到的數(shù)據(jù)項 for item in result.items: print(item[text], -, item[author]) # 查看統(tǒng)計 print(fScraped {result.stats.items_scraped} items) print(fMade {result.stats.requests_count} requests) print(fTook {result.stats.elapsed_seconds:.1f} seconds) # 爬蟲是正常跑完還是中途暫停了 print(fCompleted: {result.completed})CrawlResult的結(jié)構(gòu)很簡單statsCrawlStats數(shù)據(jù)類、itemsItemList、paused是否被暫停completed 屬性 即not paused另外還支持len(result)和for item in result直接迭代數(shù)據(jù)項。CrawlStats的信息遠比上面展示的豐富從 CrawlStats 定義 看它還包括字段含義requests_count/requests_per_second請求總數(shù)與平均速率failed_requests_count失敗的請求數(shù)offsite_requests_count被域過濾丟棄的站外請求數(shù)robots_disallowed_count被 robots.txt 禁止的請求數(shù)cache_hits/cache_misses開發(fā)模式下響應(yīng)緩存命中/未命中數(shù)blocked_requests_count被判定為攔截的請求數(shù)response_status_count按狀態(tài)碼分類的響應(yīng)計數(shù)如status_200response_bytes/domains_response_bytes總字節(jié)數(shù)與按域分解的字節(jié)數(shù)sessions_requests_count按會話 ID 分解的請求數(shù)log_levels_counter各日志級別的消息條數(shù)autothrottle_delaysAutoThrottle 運行時為各域計算出的延遲這些數(shù)字正是診斷爬蟲行為的窗口offsite_requests_count偏高說明鏈接跟丟太多blocked_requests_count偏高說明需要代理或降速。跟蹤鏈接response.follow()大多數(shù)爬取需要跨頁面跟蹤鏈接。使用response.follow()創(chuàng)建后續(xù)請求from scrapling.spiders import Spider, Response class QuotesSpider(Spider): name quotes start_urls [https://quotes.toscrape.com] async def parse(self, response: Response): # 從當前頁提取數(shù)據(jù)項 for quote in response.css(div.quote): yield { text: quote.css(span.text::text).get(), author: quote.css(small.author::text).get(), } # 跟蹤下一頁鏈接 next_page response.css(li.next a::attr(href)).get() if next_page: yield response.follow(next_page, callbackself.parse)response.follow()會自動處理相對 URL通過與當前頁 URL 拼接完成解析默認還會把當前頁設(shè)置為新請求的Referer頭。從 follow() 的實現(xiàn) 可以看到更多細節(jié)urlself.urljoin(url)完成相對地址解析referer_flowTrue默認時會寫入headers[referer]HTTP 會話或extra_headers[referer]瀏覽器會話并把google_search置為False未顯式傳入的sid、callback、priority、meta都會繼承上一個請求的對應(yīng)值——也就是說翻頁請求默認繼續(xù)用同一會話、同一回調(diào)、同一優(yōu)先級meta是合并新值優(yōu)先而非覆蓋除dont_filter外新的**kwargs會與上一請求的會話參數(shù)合并新值優(yōu)先因此可以只在某一次 follow 時覆蓋proxy、headers等參數(shù)。follow()的完整簽名是follow(url, sid, callbackNone, priorityNone, dont_filterFalse, metaNone, referer_flowTrue, **kwargs)。dont_filterTrue可以繞過調(diào)度器對該 URL 的去重見下文。你還可以把后續(xù)請求指向不同的回調(diào)方法以區(qū)分不同類型的頁面async def parse(self, response: Response): for link in response.css(a.product-link::attr(href)).getall(): yield response.follow(link, callbackself.parse_product) async def parse_product(self, response: Response): yield { name: response.css(h1::text).get(), price: response.css(.price::text).get(), }注意所有回調(diào)方法都必須是異步生成器使用async def配合yield因為引擎是以async for方式逐個消費回調(diào)產(chǎn)出的。從源碼結(jié)構(gòu)看follow 產(chǎn)出的Request進入 Scheduler——一個基于asyncio.PriorityQueue的優(yōu)先級隊列入隊時先計算請求指紋做去重dont_filterTrue可豁免priority數(shù)值越大越先出隊同一指紋的重復(fù)請求會被靜默丟棄并記一條 debug 日志。請求指紋的計算規(guī)則在 Request.update_fingerprint() 中基于歸一化 URL、HTTP 方法、請求體和會話 ID可通過 Spider 的fp_include_kwargs/fp_include_headers/fp_keep_fragments三個開關(guān)讓指紋進一步納入其他參數(shù)、請求頭或 URL 片段。導(dǎo)出數(shù)據(jù)ItemList 的四種格式result.items是一個帶導(dǎo)出能力的ItemList本質(zhì)是list的子類內(nèi)置四種導(dǎo)出方法result QuotesSpider().start() # 導(dǎo)出為 JSON result.items.to_json(quotes.json) # 導(dǎo)出為帶縮進的 JSON result.items.to_json(quotes.json, indentTrue) # 導(dǎo)出為 JSON Lines每行一個 JSON 對象 result.items.to_jsonl(quotes.jsonl) # 導(dǎo)出為 CSV 或 XML result.items.to_csv(quotes.csv) result.items.to_xml(quotes.xml)它們都會自動創(chuàng)建不存在的父目錄。各方法的參數(shù)與行為細節(jié)可從 ItemList 源碼 確認to_json(path, *, indentFalse)基于 orjson 序列化indentTrue使用 2 空格美化源碼注釋說明會稍慢to_jsonl(path)每行一個 JSON 對象適合流式處理和大數(shù)據(jù)量場景to_csv(path, *, fieldsNone, delimiter,)會為所有數(shù)據(jù)項中出現(xiàn)過的每個 key 生成一列key 不一致的項缺失單元格留空傳fields[...]可自選列與列順序delimiter\t即可得到 TSV 文件to_xml(path, *, root_tagitems, item_tagitem, indentTrue)每個 item 包裹在item元素中整體再包在items根元素里兩個標簽名均可通過root_tag、item_tag重命名不是合法 XML 名稱的 key 會被重寫為合法標簽并把原名保留在name屬性中。CSV 和 XML 兩種格式中非簡單標量值嵌套字典或列表會寫成 JSON 字符串確保數(shù)據(jù)不會被靜默丟棄——這是 _stringify() 輔助函數(shù) 的行為。此外每次導(dǎo)出都會通過日志記錄Saved N items to path方便核對導(dǎo)出條數(shù)與stats.items_scraped是否一致。過濾域名allowed_domains使用allowed_domains可以把 Spider 限制在特定域內(nèi)防止意外跟隨到外部網(wǎng)站class MySpider(Spider): name my_spider start_urls [https://example.com] allowed_domains {example.com} async def parse(self, response: Response): for link in response.css(a::attr(href)).getall(): # 指向其他域名的鏈接會被靜默丟棄 yield response.follow(link, callbackself.parse)子域名會被自動匹配設(shè)置allowed_domains {example.com}后sub.example.com、blog.example.com等同樣允許通過。從 引擎的 _is_domain_allowed() 看判定邏輯就是domain allowed or domain.endswith(. allowed)若allowed_domains為空集則所有域名都放行。被過濾掉的請求會計入stats.offsite_requests_count并記錄一條 debug 日志讓你知道有多少鏈接被丟棄——這個計數(shù)對評估站點鏈接結(jié)構(gòu)很有參考價值。過濾發(fā)生在回調(diào)產(chǎn)出Request之后、入隊之前見 _run_callbacks()所以被丟棄的請求不會占用調(diào)度器資源。遵守 robots.txtrobots_txt_obey設(shè)置robots_txt_obey True可以讓 Spider 在爬取任何域之前先遵守 robots.txt 規(guī)則class PoliteSpider(Spider): name polite start_urls [https://example.com] robots_txt_obey True async def parse(self, response: Response): for link in response.css(a::attr(href)).getall(): yield response.follow(link, callbackself.parse)開啟后Spider 會預(yù)取 robots.txt爬取開始前并發(fā)抓取start_urls中所有域的 robots.txt。從 _prefetch_robots_txt() 看它會按 netloc 去重并保留首個 URL 的 scheme再交給RobotsTxtManager.prefetch()并發(fā)預(yù)取。逐個檢查請求每個請求先與所屬域的 robots.txtDisallow規(guī)則比對被禁止的請求靜默丟棄并計入stats.robots_disallowed_count見 _process_request()。遵守Crawl-delay與Request-rate指令取指令值與配置的download_delay中的最大值。也就是說 robots.txt 的延遲只會增大你配置的延遲、絕不會減小它。Request-rate如5/30s會被換算為period / req_count后參與比較見 _get_domain_delay()且每個域的最終延遲只計算一次并緩存。robots.txt 使用 Spider 的默認會話抓取并在整個爬取期間按域緩存爬取中途才發(fā)現(xiàn)的域不在start_urls中會在首次請求該域時現(xiàn)場抓取其 robots.txt。注意robots_txt_obey默認關(guān)閉以避免意外的行為變化。啟用它不會影響并發(fā)設(shè)置concurrent_requests、concurrent_requests_per_domain——被調(diào)整的只有請求之間的延遲。如果不想手動挑download_delay可以設(shè)置autothrottle_enabled TrueSpider 會根據(jù)每個域的響應(yīng)快慢自行調(diào)節(jié)延遲在被攔截時自動退避相關(guān)參數(shù)autothrottle_start_delay、autothrottle_max_delay等在 Spider 類 中定義默認起步延遲 5 秒、上限 60 秒。詳見 AutoThrottle 章節(jié)。與調(diào)度引擎的銜接上面各配置項最終都匯聚到 CrawlerEngine。初始化時引擎根據(jù) Spider 配置創(chuàng)建對應(yīng)組件robots_txt_obey開啟則實例化RobotsTxtManagerautothrottle_enabled開啟則創(chuàng)建AutoThrottledevelopment_mode開啟則啟用磁盤響應(yīng)緩存默認目錄.scrapling_cache/{name}。主循環(huán)crawl()每輪從調(diào)度器取請求并發(fā)任務(wù)同時受concurrent_requests上限約束空閑時輪詢暫停標記與檢查點時機結(jié)束前會打印完整的stats.to_dict()JSON。此外還有兩個與合規(guī)和穩(wěn)定性直接相關(guān)的內(nèi)置機制源碼中可直接驗證攔截重試當is_blocked(response)判定為攔截默認基于狀態(tài)碼集合BLOCKED_CODES {401, 403, 407, 429, 444, 500, 502, 503, 504}可覆寫時引擎會復(fù)制請求、遞增_retry_count、降低優(yōu)先級并移除代理配置后重新入隊最多重試max_blocked_retries默認 3次生命周期鉤子on_start(resuming)、on_close()、on_error(request, error)、on_scraped_item(item)返回None可靜默丟棄該條數(shù)據(jù)計入items_dropped都可按需覆寫。這些進階能力優(yōu)先級、去重、會話、代理、檢查點、流式輸出等在文檔中有專門章節(jié)Requests Responses —— 請求優(yōu)先級、去重、元數(shù)據(jù)等Sessions —— 在單個 Spider 中混用多種 fetcherHTTP、瀏覽器、隱身Proxy management blocking —— 跨請求輪換代理與攔截處理Advanced features —— 并發(fā)控制、AutoThrottle、暫停/恢復(fù)、流式輸出、生命周期鉤子與日志?！久赓M下載鏈接】Scrapling? An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl!項目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考