訂閱
糾錯(cuò)
加入自媒體
當(dāng)前位置： OFweek 人工智能網(wǎng)   >   其他   >  正文

一篇文章教會(huì)你利用Python網(wǎng)絡(luò)爬蟲(chóng)獲取分類圖片

【一、項(xiàng)目背景】

博海拾貝是一支互聯(lián)網(wǎng)從業(yè)者在線教育的團(tuán)隊(duì)，扎根于中國(guó)教育行業(yè)以及互聯(lián)網(wǎng)行業(yè)的創(chuàng)新和眼球中，打造專業(yè)體系化的互聯(lián)網(wǎng)人在線教育平臺(tái)。精心創(chuàng)作許多精彩的文章，提供了很多有趣的圖片。

今天來(lái)教大家如何使用Python來(lái)爬取博海拾貝的圖片，分類保存，寫入文檔。

【二、項(xiàng)目目標(biāo)】

創(chuàng)建一個(gè)文件夾， 分類保存所有文章圖片。下載成功，結(jié)果顯示控制臺(tái)。

【三、項(xiàng)目分析】

1、如何找到真正訪問(wèn)的地址，多網(wǎng)頁(yè)請(qǐng)求？

滑動(dòng)鼠標(biāo)，觀察網(wǎng)站，右鍵F12 。鼠標(biāo)滾輪滑動(dòng)加載新內(nèi)容。如圖：

點(diǎn)開(kāi)隨機(jī)網(wǎng)頁(yè) ， 點(diǎn)開(kāi)Request URL ，觀察網(wǎng)址的規(guī)律。

https：／／bh．sb／page／1／

https：／／bh．sb／page／2／

https：／／bh．sb／page／3／

https：／／bh．sb／page／4／

觀察到，每增加一頁(yè)page／｛｝／自增加1，用｛｝代替變換的變量，再用for循環(huán)遍歷這網(wǎng)址，實(shí)現(xiàn)多個(gè)網(wǎng)址請(qǐng)求。

2．  反爬處理

1）獲取正常的 http請(qǐng)求頭，并在requests請(qǐng)求時(shí)，設(shè)置這些常規(guī)的http請(qǐng)求頭。

2）使用 fake＿useragent ，產(chǎn)生隨機(jī)的UserAgent進(jìn)行訪問(wèn)。

1  2  3  下一頁(yè)>  
聲明： 本文由入駐維科號(hào)的作者撰寫，觀點(diǎn)僅代表作者本人，不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題，請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

共0條評(píng)論，0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁，請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清，點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

    掃碼關(guān)注公眾號(hào)
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題：
    *糾錯(cuò)內(nèi)容：
    聯(lián)系郵箱：
    *驗(yàn) 證 碼：

    粵公網(wǎng)安備 44030502002758號(hào)