一篇文章教會你利用Python網(wǎng)絡(luò)爬蟲獲取分類圖片
【一、項目背景】
博海拾貝是一支互聯(lián)網(wǎng)從業(yè)者在線教育的團(tuán)隊,扎根于中國教育行業(yè)以及互聯(lián)網(wǎng)行業(yè)的創(chuàng)新和眼球中,打造專業(yè)體系化的互聯(lián)網(wǎng)人在線教育平臺。精心創(chuàng)作許多精彩的文章,提供了很多有趣的圖片。
今天來教大家如何使用Python來爬取博海拾貝的圖片,分類保存,寫入文檔。
【二、項目目標(biāo)】
創(chuàng)建一個文件夾, 分類保存所有文章圖片。下載成功,結(jié)果顯示控制臺。
【三、項目分析】
1、如何找到真正訪問的地址,多網(wǎng)頁請求?
滑動鼠標(biāo),觀察網(wǎng)站,右鍵F12 。鼠標(biāo)滾輪滑動加載新內(nèi)容。如圖:
點開隨機(jī)網(wǎng)頁 , 點開Request URL ,觀察網(wǎng)址的規(guī)律。
https://bh.sb/page/1/
https://bh.sb/page/2/
https://bh.sb/page/3/
https://bh.sb/page/4/
觀察到,每增加一頁page/{}/自增加1,用{}代替變換的變量,再用for循環(huán)遍歷這網(wǎng)址,實現(xiàn)多個網(wǎng)址請求。
2. 反爬處理
1)獲取正常的 http請求頭,并在requests請求時,設(shè)置這些常規(guī)的http請求頭。
2)使用 fake_useragent ,產(chǎn)生隨機(jī)的UserAgent進(jìn)行訪問。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
10月31日立即下載>> 【限時免費下載】TE暖通空調(diào)系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月28日立即報名>>> 2024工程師系列—工業(yè)電子技術(shù)在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市