訂閱
糾錯
加入自媒體

一篇文章教會你利用Python網(wǎng)絡(luò)爬蟲獲取分類圖片

【四、涉及的庫和網(wǎng)站】

1、網(wǎng)址如下:

https://www.doutula.com/photo/list/?page={}

2、涉及的庫:requests、lxml、fake_useragent、time、os

3、軟件:PyCharm

【五、項目實施】

1、我們定義一個class類繼承object,然后定義init方法繼承self,再定義一個主函數(shù)main繼承self。導(dǎo)入需要的庫和網(wǎng)址,創(chuàng)建保存文件夾。import requests, osfrom lxml import etreefrom fake_useragent import UserAgentimport timeclass bnotiank(object):    def __init__(self):        os.mkdir("圖片")  # 在創(chuàng)建文件夾 記住只有第一次運行加上,如果多次運行請注釋掉本行。    def main(self):          passif __name__ == '__main__':    Siper=bnotiank()    Siper.main()

2、隨機UserAgent ,構(gòu)造請求頭,防止反爬。    ua = UserAgent(verify_ssl=False)    for i in range(1, 50):        self.headers = {            'User-Agent': ua.random        }

3、發(fā)送請求 ,獲取響應(yīng),頁面回調(diào),方便下次請求。   '''發(fā)送請求  獲取響應(yīng)'''    def get_page(self, url):        res = requests.get(url=url, headers=self.headers)        html = res.content.decode("utf-8")        return html

4、定義parse_page函數(shù),獲取二級頁面地址,for遍歷獲取需要的字段。

def parse_page(self, html):        parse_html = etree.HTML(html)        image_src_list = parse_html.xpath('//p/a/@href')        # print(image_src_list)

5、對二級頁面發(fā)生請求,xpath解析數(shù)據(jù),獲取大圖片鏈接。

reo = parse_html1.xpath('//div//div[@class="content"]') #父結(jié)點    for j in reo:        d = j.xpath('.//article[@class="article-content"]//p/img/@src')[0]        text = parse_html1.xpath('//h1[@class ="article-title"] //a/text()')[0].strip()

6、請求圖片地址,寫入文檔。

html2 = requests.get(url=d, headers=self.headers).content    dirname = "./d/" + text + ".jpg" #定義圖命名    with open(dirname, 'wb') as f:        f.write(html2)        print("%s 【下載成功。。。 浚 % text)

7、調(diào)用方法,實現(xiàn)功能。    url = self.url.format(page)    print(url)    html = self.get_page(url)    self.parse_page(html)

8、設(shè)置延時。(防止ip被封)。

time.sleep(1) """時間延時"""

【六、效果展示】

1、點擊綠色小三角運行輸入起始頁,終止頁。

2、將下載成功信息顯示在控制臺。

<上一頁  1  2  3  下一頁>  
聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權(quán)或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯
x
*文字標題:
*糾錯內(nèi)容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號