網(wǎng)絡(luò)爬蟲(chóng)網(wǎng)絡(luò)爬蟲(chóng)(又被稱(chēng)作網(wǎng)絡(luò)蜘蛛、網(wǎng)絡(luò)機(jī)器人在某社區(qū)中經(jīng)常被稱(chēng)為網(wǎng)頁(yè)追逐者)可以按照指定的規(guī)則(網(wǎng)絡(luò)爬蟲(chóng)的算法)自動(dòng)瀏覽或抓取網(wǎng)絡(luò)中的信息通過(guò)Python可以很輕松地編寫(xiě)爬蟲(chóng)程序或者是腳本。在生活中網(wǎng)絡(luò)爬蟲(chóng)經(jīng)常出現(xiàn)搜索引擎就離不開(kāi)網(wǎng)絡(luò)爬蟲(chóng)。例如百度搜索引擎的爬蟲(chóng)名字叫作百度蜘蛛(Baiduspider)。百度蜘蛛是百度搜索引擎的一個(gè)自動(dòng)程序。它每天都會(huì)在海量的互聯(lián)網(wǎng)信息中進(jìn)行爬取收集并整理互聯(lián)網(wǎng)上的網(wǎng)頁(yè)、圖片視頻等信息。然后當(dāng)用戶(hù)在百度搜索引擎中輸入對(duì)應(yīng)的關(guān)鍵詞時(shí)百度將從收集的網(wǎng)絡(luò)信息中找出相關(guān)的內(nèi)容按照一定的順序?qū)⑿畔⒄宫F(xiàn)給用戶(hù)。百度蜘蛛在工作的過(guò)程中搜索引擎會(huì)構(gòu)建一個(gè)調(diào)度程序來(lái)調(diào)度百度蜘蛛的工作這些調(diào)度程序都是需要使用一定的算法來(lái)實(shí)現(xiàn)的采用不同的算法爬蟲(chóng)的工作效率也會(huì)有所不同爬取的結(jié)果也會(huì)有所差異?；驹鞵ython實(shí)現(xiàn)HTTP請(qǐng)求常見(jiàn)的三種方式urllib,urllib3,requests,其中urllib是Python自帶模塊urllib3和requests需要手動(dòng)安裝終端輸入 pip install requests 進(jìn)行安裝urllib模塊的函數(shù)信息示例程序【NetRequest.py】import urllib.request import urllib.parse import urllib3 #需要安裝包 import requests #在下面的終端輸入 pip install requests 進(jìn)行安裝 #打開(kāi)指定需要爬取的網(wǎng)頁(yè) responseurllib.request.urlopen(https://www.baidu.com) htmlresponse.read() print(html) print(----------------------演示post----------------------) databytes(urllib.parse.urlencode({word:hello}), encodingutf8) responseurllib.request.urlopen(http://www.httpbin.org/post,datadata) htmlresponse.read() print(html) print(----------------------使用urllib3庫(kù)----------------------) httpurllib3.PoolManager() responsehttp.request(GET,http://www.baidu.com/) print(response.data) print(----------------------使用requests庫(kù)----------------------) responserequests.get(http://www.baidu.com/) print(狀態(tài)碼:,response.status_code) print(url地址:,response.url) print(headers頭信息:,response.headers) print(cookie信息:,response.cookies) print(文本源碼:,response.text) print(字節(jié)源碼,response.content) #超時(shí)時(shí)間為5秒,一個(gè)不存在的url try: responserequests.post(http://www.xyzsnake.com/post,timeout5) print(文本,response.text,,狀態(tài)碼,response.status_code) except Exception as e: print(異常信息:,str(e))運(yùn)行如圖