前言通過代碼爬取貝殼中二手房的數(shù)據(jù)以此給更多需要了解爬蟲或者二手房信息的人提供便利。第一部分爬取地址1.1貝殼首頁地址jiujiang.ke.com第二部分爬取數(shù)據(jù)2.1輸入要爬多少頁int(input(輸入一共要多少頁輸入整數(shù)))2.2找到要請(qǐng)求的網(wǎng)址wangzhi fhttps://jiujiang.ke.com/ershoufang/pg{y}/2.3定位多個(gè)房源信息位置page.eles(xpath://div[classinfo clear], timeout20)2.4設(shè)置要爬的信息? for x in loc: # 標(biāo)題 biaoti x.ele(xpath:.//div[classtitle]/a).text # 地址 address x.ele(xpath:.//div[classpositionInfo]/a).text # 概述 info x.ele(xpath:.//div[classhouseInfo]).text # 總價(jià) price x.ele(xpath:.//div[classtotalPrice totalPrice2]/span).text ? # 詳情頁鏈接 lianjie x.ele(xpath:.//div[classpositionInfo]/a).attr(href)第三部分保存信息pandas.DataFrame(kong_list).to_csv(貝殼二手房九江.csv, indexFalse)全部的代碼見文章末尾更多信息請(qǐng)關(guān)注......本篇文章的源碼如下from DrissionPage import ChromiumPage import time import pandas kong_list [] num int(input(輸入一共要多少頁輸入整數(shù))) for y in range(1, num1): page ChromiumPage() wangzhi fhttps://jiujiang.ke.com/ershoufang/pg{y}/ page.get(wangzhi) # 遇到需要驗(yàn)證的頁碼就跳過進(jìn)入下一頁 loc page.eles(xpath://div[classinfo clear], timeout20) # 定位多個(gè)房源信息的位置 for x in loc: # 標(biāo)題 biaoti x.ele(xpath:.//div[classtitle]/a).text # 地址 address x.ele(xpath:.//div[classpositionInfo]/a).text # 概述 info x.ele(xpath:.//div[classhouseInfo]).text # 總價(jià) price x.ele(xpath:.//div[classtotalPrice totalPrice2]/span).text # 詳情頁鏈接 lianjie x.ele(xpath:.//div[classpositionInfo]/a).attr(href) print(\n, biaoti, address, info, price, lianjie) kong_list.append({ 標(biāo)題: biaoti, 地址: address, 概述: info, 總價(jià): price萬, 詳情鏈接: lianjie, }) time.sleep(3) # 寫入文件 pandas.DataFrame(kong_list).to_csv(貝殼二手房九江.csv, indexFalse)