保姆級教程)
3個后端避坑點：indeed.com爬蟲實戰(zhàn)保姆級教程
面試被問原理答不上來，是轉(zhuǎn)行后端最扎心的時刻。很多候選人簡歷上寫著精通并發(fā)、熟悉網(wǎng)絡(luò)協(xié)議，面試官一深挖 indeed.com 的反爬機制或數(shù)據(jù)清洗邏輯，立馬卡殼。別慌，這篇保姆級教程帶你從零搭建一個高可用的職位數(shù)據(jù)抓取系統(tǒng)，把書本上的理論變成手里能打的代碼。
項目目標與背景拆解
很多人覺得爬蟲就是發(fā)個 HTTP 請求，解析 HTML 完事。但在 indeed.com 這種工業(yè)級站點上，這種想法會撞得頭破血流。indeed.com 作為全球領(lǐng)先的招聘平臺，其前端渲染邏輯復(fù)雜，后端接口隱蔽，且具備極強的反自動化檢測能力。
本項目目標不是簡單的“爬取”，而是構(gòu)建一個具備容錯機制、數(shù)據(jù)清洗管道和結(jié)構(gòu)化存儲的微型后端服務(wù)。我們將重點解決三個痛點：動態(tài)內(nèi)容獲?。喝绾卫@過前端 JS 渲染，直接命中 API 接口。
數(shù)據(jù)標準化：將雜亂的職位信息（薪資、地點、技能）轉(zhuǎn)化為結(jié)構(gòu)化 JSON。
穩(wěn)定性保障：處理網(wǎng)絡(luò)波動、IP 封禁和異常數(shù)據(jù)。對于轉(zhuǎn)崗從業(yè)者，這個項目能幫你理解生產(chǎn)環(huán)境中數(shù)據(jù)獲取的真實復(fù)雜度，而不僅僅是玩具項目。
目錄結(jié)構(gòu)與工程化思維
拋棄“單文件腳本”的思維，我們要用工程化的方式組織代碼。一個清晰的目錄結(jié)構(gòu)是維護性的基礎(chǔ)，也是面試中展示架構(gòu)能力的加分項。
indeed_crawler/
├── config/
│ └── settings.py # 配置管理：URL、請求頭、頻率限制
├── core/
│ ├── fetcher.py # 核心抓取邏輯：請求封裝、重試機制
│ ├── parser.py # 數(shù)據(jù)解析邏輯：正則提取、JSON 清洗
│ └── validator.py # 數(shù)據(jù)校驗：字段完整性檢查
├── storage/
│ └── db.py # 存儲層：數(shù)據(jù)庫連接、SQL 操作
├── utils/
│ └── logger.py # 日志工具：統(tǒng)一日志格式
├── main.py # 入口文件：任務(wù)調(diào)度
└── requirements.txt # 依賴管理這種分層設(shè)計遵循了單一職責(zé)原則。fetcher 只負責(zé)拿數(shù)據(jù)，parser 只負責(zé)處理數(shù)據(jù)，storage 只負責(zé)存數(shù)據(jù)。當面試官問“如果我想把存儲從 MySQL 換成 MongoDB，要改哪里？”時，你能瞬間答出“只需修改 storage/db.py，其他模塊無感”，這就是架構(gòu)能力的體現(xiàn)。
核心代碼實現(xiàn)與逐行解析
這是最硬核的部分。我們將使用 Python 的 requests 和 BeautifulSoup（盡管我們主要解析 JSON，但 BS4 在調(diào)試 HTML 結(jié)構(gòu)時依然有用），以及 re 模塊進行正則提取。
1. 配置管理與請求頭偽裝
在 config/settings.py 中，我們定義全局配置。不要硬編碼，配置應(yīng)該外部化。
import osclass Config:# 基礎(chǔ) URL，注意替換具體的搜索關(guān)鍵詞BASE_URL = https://www.indeed.com/jobs# 模擬真實瀏覽器，避免被簡單識別HEADERS = {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36,Accept-Language: en-US,en;q=0.9,Accept: application/json, text/javascript, */*; q=0.01}# 請求間隔，防止觸發(fā)頻率限制REQUEST_INTERVAL = 2.52. 核心抓取器：處理動態(tài) API
indeed.com 的職位列表通常由前端 JS 異步加載。直接爬取 HTML 拿不到數(shù)據(jù)。我們需要找到它的內(nèi)部 API 端點。通過瀏覽器開發(fā)者工具（F12）的 Network 面板，我們可以發(fā)現(xiàn)其數(shù)據(jù)接口通常返回 JSON 格式。
以下是 core/fetcher.py 的核心邏輯：
import requests
import time
import random
from config.settings import Config
from utils.logger import get_loggerlogger = get_logger(__name__)class DataFetcher:def __init__(self):self.session = requests.Session()self.session.headers.update(Config.HEADERS)def fetch_job_list(self, query, location=Remote):獲取職位列表 JSON 數(shù)據(jù)params = {q: query,l: location,fromage: d3, # 最近3天limit: 50}try:# 引入隨機延時，模擬人類行為time.sleep(random.uniform(1.0, Config.REQUEST_INTERVAL))logger.info(fFetching: {query} in {location})response = self.session.get(Config.BASE_URL, params=params, timeout=10)if response.status_code != 200:logger.warning(fStatus code: {response.status_code})return None# indeed 返回的是 JSON，但有時包裹在 HTML 中，這里假設(shè)是純 JSON API# 實際項目中可能需要解析 HTML 中的 script 標簽提取 JSONreturn response.json()except requests.exceptions.RequestException as e:logger.error(fRequest failed: {e})return None逐行講解：Session 復(fù)用：requests.Session 會保持 Cookie 和連接池，比每次新建 requests.get 性能更高，也更像真實瀏覽器行為。
隨機延時：random.uniform 比固定 time.sleep 更自然，避免被頻率檢測算法捕捉。
異常捕獲：網(wǎng)絡(luò)不穩(wěn)定是常態(tài)，必須捕獲 RequestException，否則程序會崩潰。3. 數(shù)據(jù)解析與清洗
拿到 JSON 后，數(shù)據(jù)往往是嵌套的。indeed.com 的返回結(jié)構(gòu)中，職位信息通常在 results 數(shù)組下。我們需要提取關(guān)鍵字段：標題、公司、薪資、地點。
core/parser.py 實現(xiàn)如下：
import re
from datetime import datetimeclass JobParser:@staticmethoddef parse_jobs(raw_data):將原始 JSON 轉(zhuǎn)換為標準字典列表if not raw_data or 'results' not in raw_data:return []jobs = []for item in raw_data['results']:try:title = item.get('title', '').strip()company = item.get('company', '').strip()location = item.get('location', '').strip()# 薪資字段通常在 'salary' 或 'salaryMin'/'salaryMax'# 這里假設(shè)結(jié)構(gòu)為 {salary: 50K - 70K per year}salary_text = item.get('salary', 'N/A')# 使用正則提取數(shù)字，方便后續(xù)分析salary_numbers = re.findall(r'\d+', salary_text)salary_min = int(salary_numbers[0]) if salary_numbers else Nonesalary_max = int(salary_numbers[-1]) if len(salary_numbers) 1 else None# 提取技能標簽skills = [tag.get('label') for tag in item.get('tags', []) if tag.get('label')]job_obj = {title: title,company: company,location: location,salary_min: salary_min,salary_max: salary_max,skills: skills,url: item.get('url', ''),crawled_at: datetime.now().isoformat()}jobs.append(job_obj)except Exception as e:logger.error(fParse error: {e})continuereturn jobs關(guān)鍵點：防御性編程：使用 .get() 而不是 [] 訪問字典，防止 KeyError。
正則提取：薪資格式五花八門，正則 r'\d+' 是最通用的提取手段。
時間戳：記錄 crawled_at，方便后續(xù)做數(shù)據(jù)時效性分析。運行與測試：從本地到生產(chǎn)
代碼寫完了，怎么跑？別直接 python main.py 就完事。我們需要一個主調(diào)度器，并且加入簡單的重試機制。
main.py 示例：
from core.fetcher import DataFetcher
from core.parser import JobParser
from storage.db import Database
from config.settings import Config
from utils.logger import get_loggerlogger = get_logger(__name__)def main():fetcher = DataFetcher()parser = JobParser()db = Database() # 假設(shè)已初始化連接keywords = [Python Backend, Java Microservices]for kw in keywords:logger.info(fStarting crawl for: {kw})# 1. 獲取raw_data = fetcher.fetch_job_list(kw)# 2. 解析if raw_data:jobs = parser.parse_jobs(raw_data)logger.info(fParsed {len(jobs)} jobs)# 3. 存儲 (這里簡化為批量插入)if jobs:db.batch_insert(jobs)# 4. 控制頻率time.sleep(Config.REQUEST_INTERVAL)if __name__ == __main__:main()測試策略：單元測試：針對 parser.py，構(gòu)造幾個典型的 JSON 片段，測試解析結(jié)果是否符合預(yù)期。重點測試空值、格式異常的情況。
集成測試：在本地運行 main.py，觀察日志輸出。檢查數(shù)據(jù)庫是否正確寫入數(shù)據(jù)。
壓力測試：增加關(guān)鍵詞數(shù)量，觀察程序是否穩(wěn)定，IP 是否被封。如果被封，說明需要引入代理池（Proxy Pool）。優(yōu)化擴展與高頻考點深挖
這是區(qū)分“腳本小子”和“后端工程師”的關(guān)鍵章節(jié)。面試中，面試官往往會問：“你的系統(tǒng)如果并發(fā)量上來怎么辦？”或者“如何保證數(shù)據(jù)準確性？”
1. 并發(fā)改造：從串行到異步
上面的代碼是串行執(zhí)行，效率低。在生產(chǎn)環(huán)境，我們通常使用 asyncio 和 aiohttp。
改造思路：將 DataFetcher 改為異步類。
使用 asyncio.gather 并發(fā)請求多個關(guān)鍵詞。
設(shè)置信號量（Semaphore）控制并發(fā)數(shù)，例如同時最多 5 個請求，避免打爆目標服務(wù)器或自己的 IP。2. 數(shù)據(jù)準確性與去重
網(wǎng)絡(luò)爬取的數(shù)據(jù)往往有噪聲。如何保證入庫數(shù)據(jù)的唯一性？唯一索引：在數(shù)據(jù)庫中，對 title + company + location 建立唯一索引。
哈希去重：在入庫前，計算職位內(nèi)容的 MD5 值，如果數(shù)據(jù)庫中已存在相同 MD5，則跳過。3. 薪資區(qū)間與地區(qū)差異分析
這是轉(zhuǎn)崗從業(yè)者最關(guān)心的“變現(xiàn)”能力。通過爬蟲收集的數(shù)據(jù)，我們可以做簡單的統(tǒng)計分析。地區(qū)
平均最低薪資 (USD)
平均最高薪資 (USD)
主要技術(shù)棧Remote
60,000
95,000
Python, Go, DockerNew York
85,000
130,000
Java, Kafka, K8sAustin
70,000
110,000
Python, AWS, React注：數(shù)據(jù)僅為示例，實際需運行爬蟲獲取。
通過這樣的表格，你能直觀看到：地區(qū)差異：遠程職位的平均薪資下限往往低于一線城市，但上限可能更高（因為大廠遠程崗多）。
技術(shù)溢價：掌握 Docker/K8s 的職位薪資區(qū)間明顯高于純 CRUD 崗位。在面試中，如果你能展示你不僅會爬數(shù)據(jù)，還能通過數(shù)據(jù)洞察行業(yè)趨勢，這會極大提升你的競爭力。
4. 反爬應(yīng)對策略
indeed.com 可能會返回驗證碼或 403 錯誤。代理池：引入 RotatingProxyManager，輪換 IP。
Cookie 池：維護一組有效的 Cookie，定期更新。
人機驗證：如果觸發(fā) reCAPTCHA，需接入打碼平臺（如 2Captcha）進行自動識別，但這涉及成本，需在項目中權(quán)衡。小結(jié)與行動指南
這個項目看似簡單，實則涵蓋了后端開發(fā)的多個核心模塊：網(wǎng)絡(luò)通信、數(shù)據(jù)解析、存儲設(shè)計、并發(fā)控制、日志監(jiān)控。
面試避坑指南：不要只說“用了 requests”：要說出為什么用 Session，如何處理超時，如何模擬瀏覽器指紋。
不要忽視異常處理：生產(chǎn)環(huán)境中，異常處理代碼量往往超過正常邏輯。展示你的 try-except 塊，展示你的日志記錄。
數(shù)據(jù)價值大于代碼本身：強調(diào)你通過爬蟲獲取的數(shù)據(jù)如何幫助分析薪資、技能趨勢，體現(xiàn)你的業(yè)務(wù)思維。你更常用哪種寫法？評論區(qū)交流
是喜歡用 Scrapy 框架快速搭建，還是像本文這樣用 requests + asyncio 手寫底層邏輯以掌握更多細節(jié)？或者你有更好的反爬應(yīng)對方案？歡迎在評論區(qū)分享你的實戰(zhàn)經(jīng)驗，一起避坑。 3個后端避坑點：indeed.com爬蟲實戰(zhàn)保姆級教程
3個后端避坑點：indeed.com爬蟲實戰(zhàn)保姆級教程
面試被問原理答不上來，是轉(zhuǎn)行后端最扎心的時刻。很多候選人簡歷上寫著精通并發(fā)、熟悉網(wǎng)絡(luò)協(xié)議，面試官一深挖 indeed.com 的反爬機制或數(shù)據(jù)清洗邏輯，立馬卡殼。別慌，這篇保姆級教程帶你從零搭建一個高可用的職位數(shù)據(jù)抓取系統(tǒng)，把書本上的理論變成手里能打的代碼。
項目目標與背景拆解
很多人覺得爬蟲就是發(fā)個 HTTP 請求，解析 HTML 完事。但在 indeed.com 這種工業(yè)級站點上，這種想法會撞得頭破血流。indeed.com 作為全球領(lǐng)先的招聘平臺，其前端渲染邏輯復(fù)雜，后端接口隱蔽，且具備極強的反自動化檢測能力。
本項目目標不是簡單的“爬取”，而是構(gòu)建一個具備容錯機制、數(shù)據(jù)清洗管道和結(jié)構(gòu)化存儲的微型后端服務(wù)。我們將重點解決三個痛點：動態(tài)內(nèi)容獲?。喝绾卫@過前端 JS 渲染，直接命中 API 接口。
數(shù)據(jù)標準化：將雜亂的職位信息（薪資、地點、技能）轉(zhuǎn)化為結(jié)構(gòu)化 JSON。
穩(wěn)定性保障：處理網(wǎng)絡(luò)波動、IP 封禁和異常數(shù)據(jù)。對于轉(zhuǎn)崗從業(yè)者，這個項目能幫你理解生產(chǎn)環(huán)境中數(shù)據(jù)獲取的真實復(fù)雜度，而不僅僅是玩具項目。
目錄結(jié)構(gòu)與工程化思維
拋棄“單文件腳本”的思維，我們要用工程化的方式組織代碼。一個清晰的目錄結(jié)構(gòu)是維護性的基礎(chǔ)，也是面試中展示架構(gòu)能力的加分項。
indeed_crawler/
├── config/
│ └── settings.py # 配置管理：URL、請求頭、頻率限制
├── core/
│ ├── fetcher.py # 核心抓取邏輯：請求封裝、重試機制
│ ├── parser.py # 數(shù)據(jù)解析邏輯：正則提取、JSON 清洗
│ └── validator.py # 數(shù)據(jù)校驗：字段完整性檢查
├── storage/
│ └── db.py # 存儲層：數(shù)據(jù)庫連接、SQL 操作
├── utils/
│ └── logger.py # 日志工具：統(tǒng)一日志格式
├── main.py # 入口文件：任務(wù)調(diào)度
└── requirements.txt # 依賴管理這種分層設(shè)計遵循了單一職責(zé)原則。fetcher 只負責(zé)拿數(shù)據(jù)，parser 只負責(zé)處理數(shù)據(jù)，storage 只負責(zé)存數(shù)據(jù)。當面試官問“如果我想把存儲從 MySQL 換成 MongoDB，要改哪里？”時，你能瞬間答出“只需修改 storage/db.py，其他模塊無感”，這就是架構(gòu)能力的體現(xiàn)。
核心代碼實現(xiàn)與逐行解析
這是最硬核的部分。我們將使用 Python 的 requests 和 BeautifulSoup（盡管我們主要解析 JSON，但 BS4 在調(diào)試 HTML 結(jié)構(gòu)時依然有用），以及 re 模塊進行正則提取。
1. 配置管理與請求頭偽裝
在 config/settings.py 中，我們定義全局配置。不要硬編碼，配置應(yīng)該外部化。
import osclass Config:# 基礎(chǔ) URL，注意替換具體的搜索關(guān)鍵詞BASE_URL = https://www.indeed.com/jobs# 模擬真實瀏覽器，避免被簡單識別HEADERS = {User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36,Accept-Language: en-US,en;q=0.9,Accept: application/json, text/javascript, */*; q=0.01}# 請求間隔，防止觸發(fā)頻率限制REQUEST_INTERVAL = 2.52. 核心抓取器：處理動態(tài) API
indeed.com 的職位列表通常由前端 JS 異步加載。直接爬取 HTML 拿不到數(shù)據(jù)。我們需要找到它的內(nèi)部 API 端點。通過瀏覽器開發(fā)者工具（F12）的 Network 面板，我們可以發(fā)現(xiàn)其數(shù)據(jù)接口通常返回 JSON 格式。
以下是 core/fetcher.py 的核心邏輯：
import requests
import time
import random
from config.settings import Config
from utils.logger import get_loggerlogger = get_logger(__name__)class DataFetcher:def __init__(self):self.session = requests.Session()self.session.headers.update(Config.HEADERS)def fetch_job_list(self, query, location=Remote):獲取職位列表 JSON 數(shù)據(jù)params = {q: query,l: location,fromage: d3, # 最近3天limit: 50}try:# 引入隨機延時，模擬人類行為time.sleep(random.uniform(1.0, Config.REQUEST_INTERVAL))logger.info(fFetching: {query} in {location})response = self.session.get(Config.BASE_URL, params=params, timeout=10)if response.status_code != 200:logger.warning(fStatus code: {response.status_code})return None# indeed 返回的是 JSON，但有時包裹在 HTML 中，這里假設(shè)是純 JSON API# 實際項目中可能需要解析 HTML 中的 script 標簽提取 JSONreturn response.json()except requests.exceptions.RequestException as e:logger.error(fRequest failed: {e})return None逐行講解：Session 復(fù)用：requests.Session 會保持 Cookie 和連接池，比每次新建 requests.get 性能更高，也更像真實瀏覽器行為。
隨機延時：random.uniform 比固定 time.sleep 更自然，避免被頻率檢測算法捕捉。
異常捕獲：網(wǎng)絡(luò)不穩(wěn)定是常態(tài)，必須捕獲 RequestException，否則程序會崩潰。3. 數(shù)據(jù)解析與清洗
拿到 JSON 后，數(shù)據(jù)往往是嵌套的。indeed.com 的返回結(jié)構(gòu)中，職位信息通常在 results 數(shù)組下。我們需要提取關(guān)鍵字段：標題、公司、薪資、地點。
core/parser.py 實現(xiàn)如下：
import re
from datetime import datetimeclass JobParser:@staticmethoddef parse_jobs(raw_data):將原始 JSON 轉(zhuǎn)換為標準字典列表if not raw_data or 'results' not in raw_data:return []jobs = []for item in raw_data['results']:try:title = item.get('title', '').strip()company = item.get('company', '').strip()location = item.get('location', '').strip()# 薪資字段通常在 'salary' 或 'salaryMin'/'salaryMax'# 這里假設(shè)結(jié)構(gòu)為 {salary: 50K - 70K per year}salary_text = item.get('salary', 'N/A')# 使用正則提取數(shù)字，方便后續(xù)分析salary_numbers = re.findall(r'\d+', salary_text)salary_min = int(salary_numbers[0]) if salary_numbers else Nonesalary_max = int(salary_numbers[-1]) if len(salary_numbers) 1 else None# 提取技能標簽skills = [tag.get('label') for tag in item.get('tags', []) if tag.get('label')]job_obj = {title: title,company: company,location: location,salary_min: salary_min,salary_max: salary_max,skills: skills,url: item.get('url', ''),crawled_at: datetime.now().isoformat()}jobs.append(job_obj)except Exception as e:logger.error(fParse error: {e})continuereturn jobs關(guān)鍵點：防御性編程：使用 .get() 而不是 [] 訪問字典，防止 KeyError。
正則提取：薪資格式五花八門，正則 r'\d+' 是最通用的提取手段。
時間戳：記錄 crawled_at，方便后續(xù)做數(shù)據(jù)時效性分析。運行與測試：從本地到生產(chǎn)
代碼寫完了，怎么跑？別直接 python main.py 就完事。我們需要一個主調(diào)度器，并且加入簡單的重試機制。
main.py 示例：
from core.fetcher import DataFetcher
from core.parser import JobParser
from storage.db import Database
from config.settings import Config
from utils.logger import get_loggerlogger = get_logger(__name__)def main():fetcher = DataFetcher()parser = JobParser()db = Database() # 假設(shè)已初始化連接keywords = [Python Backend, Java Microservices]for kw in keywords:logger.info(fStarting crawl for: {kw})# 1. 獲取raw_data = fetcher.fetch_job_list(kw)# 2. 解析if raw_data:jobs = parser.parse_jobs(raw_data)logger.info(fParsed {len(jobs)} jobs)# 3. 存儲 (這里簡化為批量插入)if jobs:db.batch_insert(jobs)# 4. 控制頻率time.sleep(Config.REQUEST_INTERVAL)if __name__ == __main__:main()測試策略：單元測試：針對 parser.py，構(gòu)造幾個典型的 JSON 片段，測試解析結(jié)果是否符合預(yù)期。重點測試空值、格式異常的情況。
集成測試：在本地運行 main.py，觀察日志輸出。檢查數(shù)據(jù)庫是否正確寫入數(shù)據(jù)。
壓力測試：增加關(guān)鍵詞數(shù)量，觀察程序是否穩(wěn)定，IP 是否被封。如果被封，說明需要引入代理池（Proxy Pool）。優(yōu)化擴展與高頻考點深挖
這是區(qū)分“腳本小子”和“后端工程師”的關(guān)鍵章節(jié)。面試中，面試官往往會問：“你的系統(tǒng)如果并發(fā)量上來怎么辦？”或者“如何保證數(shù)據(jù)準確性？”
1. 并發(fā)改造：從串行到異步
上面的代碼是串行執(zhí)行，效率低。在生產(chǎn)環(huán)境，我們通常使用 asyncio 和 aiohttp。
改造思路：將 DataFetcher 改為異步類。
使用 asyncio.gather 并發(fā)請求多個關(guān)鍵詞。
設(shè)置信號量（Semaphore）控制并發(fā)數(shù)，例如同時最多 5 個請求，避免打爆目標服務(wù)器或自己的 IP。2. 數(shù)據(jù)準確性與去重
網(wǎng)絡(luò)爬取的數(shù)據(jù)往往有噪聲。如何保證入庫數(shù)據(jù)的唯一性？唯一索引：在數(shù)據(jù)庫中，對 title + company + location 建立唯一索引。
哈希去重：在入庫前，計算職位內(nèi)容的 MD5 值，如果數(shù)據(jù)庫中已存在相同 MD5，則跳過。3. 薪資區(qū)間與地區(qū)差異分析
這是轉(zhuǎn)崗從業(yè)者最關(guān)心的“變現(xiàn)”能力。通過爬蟲收集的數(shù)據(jù)，我們可以做簡單的統(tǒng)計分析。地區(qū)
平均最低薪資 (USD)
平均最高薪資 (USD)
主要技術(shù)棧Remote
60,000
95,000
Python, Go, DockerNew York
85,000
130,000
Java, Kafka, K8sAustin
70,000
110,000
Python, AWS, React注：數(shù)據(jù)僅為示例，實際需運行爬蟲獲取。
通過這樣的表格，你能直觀看到：地區(qū)差異：遠程職位的平均薪資下限往往低于一線城市，但上限可能更高（因為大廠遠程崗多）。
技術(shù)溢價：掌握 Docker/K8s 的職位薪資區(qū)間明顯高于純 CRUD 崗位。在面試中，如果你能展示你不僅會爬數(shù)據(jù)，還能通過數(shù)據(jù)洞察行業(yè)趨勢，這會極大提升你的競爭力。
4. 反爬應(yīng)對策略
indeed.com 可能會返回驗證碼或 403 錯誤。代理池：引入 RotatingProxyManager，輪換 IP。
Cookie 池：維護一組有效的 Cookie，定期更新。
人機驗證：如果觸發(fā) reCAPTCHA，需接入打碼平臺（如 2Captcha）進行自動識別，但這涉及成本，需在項目中權(quán)衡。小結(jié)與行動指南
這個項目看似簡單，實則涵蓋了后端開發(fā)的多個核心模塊：網(wǎng)絡(luò)通信、數(shù)據(jù)解析、存儲設(shè)計、并發(fā)控制、日志監(jiān)控。
面試避坑指南：不要只說“用了 requests”：要說出為什么用 Session，如何處理超時，如何模擬瀏覽器指紋。
不要忽視異常處理：生產(chǎn)環(huán)境中，異常處理代碼量往往超過正常邏輯。展示你的 try-except 塊，展示你的日志記錄。
數(shù)據(jù)價值大于代碼本身：強調(diào)你通過爬蟲獲取的數(shù)據(jù)如何幫助分析薪資、技能趨勢，體現(xiàn)你的業(yè)務(wù)思維。你更常用哪種寫法？評論區(qū)交流
是喜歡用 Scrapy 框架快速搭建，還是像本文這樣用 requests + asyncio 手寫底層邏輯以掌握更多細節(jié)？或者你有更好的反爬應(yīng)對方案？歡迎在評論區(qū)分享你的實戰(zhàn)經(jīng)驗，一起避坑。