正則表達式

匹配單個字符

．   匹配任意一個字符，除了  d  匹配 0－9 的數(shù)字D 匹配非數(shù)字   與d 相反［］  匹配 ［］ 中列舉的字符 w  匹配 0－9 a－z A－Z ＿    慎用，可以匹配中文W  匹配非 ws   匹配空白，即空格、tab鍵，     表示 tab 鍵S  匹配非空   與s 相反

匹配多個字符

｛m，n｝  匹配前一個字符 m－n 次｛m｝  匹配前一個字符 m 次？  匹配前一個字符1次或0次，可有可無       ＃ python 默認貪婪，加 ？變?yōu)榉秦澙罚?    匹配前一個字符0次或任意次，不匹配   可以使用模塊中的 re．S 模塊來忽略＋   匹配槍一個字符 1次或任意次

開頭結尾

＾  匹配字符串開頭       ＃  ［＾＞］    在 ［］ 中 ＾ 表示非＄ 匹配字符串結尾

匹配分組

｜  匹配左邊或者右邊，表示 或（ab）  將括號中的字符作為一個分組um  引用分組num匹配到的字符串（？p＜name＞）   給分組起別名（？p＝name）   引用別名為name的分組取到的字符串

re模塊高級用法

re．match（）     能夠匹配出以xxx開頭的字符串re．search（）    能夠匹配出包含xxx的字符串re．findall（）  能夠找出所有xxx字符串re．sub（）     將匹配到的數(shù)據(jù)進行替換re．split（）     根據(jù)匹配進行切割字符串，并返回一個列表

Python里數(shù)量詞默認是貪婪的

貪婪：總是嘗試匹配盡可能多的字符非貪婪：總是嘗試匹配盡可能少的字符。    在＂＂，＂？＂，＂＋＂，＂｛m，n｝＂后面加上 ？ ， 使貪婪變成非貪婪。

r的作用

python中字符串加上 r 表示原生字符串，不需要頻繁轉義

練習代碼import re＂＂＂判斷變量名是否符合要求＂＂＂＃ 一些變量名names ＝ ［＂age＂， ＂＿age＂， ＂1age＂， ＂age1＂， ＂a＿age＂， ＂age＿1＿＂， ＂age�。�， ＂a＃123＂， ＂＿＿＿＿＿＿＿＿＿＿＂］for name in names：    ＃ 使用正則來判斷是否符合要求    ＃ 只能由字母、數(shù)字、下劃線組成，不能以數(shù)字開頭    ＃ 正則以 ＾ 開頭， ＄ 結尾    ret ＝ re．match（r＂＾［a－zA－Z＿］［a－zA－Z0－9＿］＊＄＂， name）    ＃ 判斷是否有數(shù)據(jù)    if ret：        print（＂％s 變量名符合要求，正則匹配的數(shù)據(jù)是 ％s＂ ％ （name， ret．group（）））    else：        print（＂％s 不符合要求＂ ％ name）import redef email＿1（）：    ＂＂＂    匹配網易郵箱    qinyifan＿＿123＠163．com    命名規(guī)范：由 0－9 a－z A－Z ＿ 組成，不能以數(shù)字開頭    ＂＂＂    ＃ 提示輸入郵箱    email＿str ＝ input（＂請輸入你的郵箱：＂）    ＃ 正則判斷郵箱是否正確    ret ＝ re．match（r＂＾［a－zA－Z＿］［0－9a－zA－Z＿］｛3，19｝＠163．com＂， email＿str）    if ret：        print（＂郵箱 ％s 名字合法＂ ％ email＿str）    else：        print（＂郵箱 ％s 名字不合法＂ ％ email＿str）def email＿2（）：    ＂＂＂    匹配任意郵箱    ：return：    ＂＂＂    ＃ 提示輸入郵箱    email＿str ＝ input（＂請輸入你的郵箱：＂）    ＃ 正則判斷郵箱是否正確    ＃ ret ＝ re．match（r＂＾［0－9a－zA－Z＿］＊＠［0－9a－z］｛3，5｝．（com｜com．cn｜net｜org．cn．com）＂， email＿str）    ret ＝ re．match（r＂＾［0－9a－zA－Z＿］＋＠［0－9a－zA－Z］＋（．［a－zA－Z］）＂， email＿str）    if ret：        print（＂郵箱 ％s 名字合法＂ ％ email＿str）    else：        print（＂郵箱 ％s 名字不合法＂ ％ email＿str）def phone＿1（）：    ＂＂＂    匹配座機號碼    要求：區(qū)號3－4位，號碼7－8位，號碼和區(qū)號之間可有有－號，可以沒有    ：return：    ＂＂＂    ＃ 提示輸入手機號    phone＿num ＝ str（input（＂請輸入你的手機號：＂））    ＃ 正則判斷    ret ＝ re．match（r＂＾［d］｛3，4｝－？［d］｛7，8｝＄＂， phone＿num）    if ret：        print（＂手機號 ％s 正確＂ ％ phone＿num）    else：        print（＂手機號 ％s 不正確＂ ％ phone＿num）def phone＿2（）：    ＂＂＂    匹配尾號不是4和7的手機號    ：return：    ＂＂＂    ＃ 提示輸入手機號    phone＿num ＝ str（input（＂請輸入你的手機號：＂））    ＃ 正則判斷    ret ＝ re．match（r＂＾［0－35－68－9］｛11｝＄＂， phone＿num）    if ret：        print（＂手機號 ％s 正確＂ ％ phone＿num）    else：        print（＂手機號 ％s 不正確＂ ％ phone＿num）def main（）：    email＿1（）    email＿2（）    phone＿1（）    phone＿2（）if ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    main（）＂＂＂使用正則判斷來爬取一整個網頁的圖片，簡單的爬蟲思路：    1．先打開要爬取的網頁，找到網頁源代碼，保存在 douyu．txt 文件中，    2．進行文件打開操作，使用正則判斷得到每個圖片地址并且保存在一個列表中    3．遍歷得到每個圖片地址，使用urllib庫取得每個圖片的信息，指定路徑進行寫入操作。＂＂＂import reimport urllib．requestimport geventfrom gevent import monkeyimport timemonkey．patch＿all（）＂＂＂封裝函數(shù)實現(xiàn)一下多任務  失�。ⅲⅲ�def find＿img＿url（）：    ＂＂＂打開存儲網頁源代碼的文件，使用正則得到圖片網址列表＂＂＂    with open（＂douyu．txt＂， ＂rb＂） as f：        file ＝ f．read（）．decode（＂utf－8＂）        ＃ print（file）        ret ＝ re．findall（r＂https：／／．＊．jpg＂， file）        print（ret）    return retdef download＿img（ret）：    ＂＂＂對得到的網址列表進行操作＂＂＂    num ＝ 0    for img＿url in ret：        num ＋＝ 1        content ＝ urllib．request．urlopen（img＿url）        img ＝ content．read（）        with open（＂．／douyu＿img／img＂ ＋ str（num） ＋ ＂．jpg＂， ＂wb＂） as f：            f．write（img）            print（＂第 ％d 張下載完畢＂ ％ num）    print（＂全部下載完畢＂）def main（）：    ＃ 先調用獲取網址列表的函數(shù)    ret ＝ find＿img＿url（）    ＃ download＿img（ret）    ＃ 創(chuàng)建協(xié)程    ＃ g ＝ gevent．spawn（download＿img， ret）    ＃ g．join（）    gevent．joinall（［        gevent．spawn（download＿img， ret）    ］）if ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    main（）

小任務：爬取圖片，

從給定的網頁中寫正則取出圖片地址，放到列表中

根據(jù)過濾出來的鏈接去網上下載圖片，方法 img 文件夾中

給定一個網址，下載其中所有的圖片到 image 文件夾中

要求用協(xié)程實現(xiàn)

＂＂＂實現(xiàn)打開一個網址，從中下載圖片＂＂＂import urllib．requestimport reimport geventdef get＿url（）：    header ＝ ｛＇User－Agent＇： ＇Mozilla／5．0 （Windows NT 6．1； WOW64； rv：23．0） Gecko／20100101 Firefox／23．0＇｝  ＃ 請求頭，來模仿瀏覽器    ＃ r ＝ urllib．request．Request（＂https：／／www．douyu．com／g＿yz＂， headers＝header）  ＃ 請求一個網站（斗魚），將請求頭傳過去，服務器會返回一個值    r ＝ urllib．request．Request（＂https：／／www．huya．com／g／1663＂， headers＝header）  ＃ 虎牙    req ＝ urllib．request．urlopen（r）  ＃ 打開服務器返回的源代碼    img＿content ＝ req．read（）．decode（＂utf－8＂）  ＃ 將數(shù)據(jù)保存到一個變量中，  進行解碼    ＃ print（img＿content）    ＃ 使用正則從網頁數(shù)據(jù)中取出所有的 圖片地址并保存到一個列表中    img＿all＿url ＝ re．findall（r＂https：／／．＊？．jpg＂， img＿content）    print（img＿all＿url）    ＃ img＿all＿url．pop（0）  ＃ 不知為何斗魚網站匹配出來的前兩個網址是錯的，強行進行刪除    ＃ img＿all＿url．pop（0）    ＃ print（img＿all＿url）    return img＿all＿urldef download＿img（img＿url， num）：    ＂＂＂對得到的每個圖片地址執(zhí)行下載操作＂＂＂    ret ＝ urllib．request．urlopen（img＿url）  ＃ 得到每個圖片返回的數(shù)據(jù)    img＿content ＝ ret．read（）  ＃ 得到每個圖片的內容    with open（＂．／douyu＿img／huya＿img／img＂ ＋ str（num） ＋ ＂．jpg＂， ＂wb＂） as f：  ＃ 打開文件時注意路徑        f．write（img＿content）    print（＂正在從 ％s 下載＂ ％ img＿url）    print（＂這是第 ％d 張＂ ％ num）def main（）：    ＃ 調用取得所有圖片地址的函數(shù)    img＿all＿url ＝ get＿url（）    ＃ 新建一個 gevent 列表    gevent＿list ＝ ［］    num ＝ 0    for img＿url in img＿all＿url：  ＃ 遍歷得到每個圖片地址        num ＋＝ 1        ＃ download＿img（img＿url， num）  ＃ 調用函數(shù)對得到的每個圖片內容下載        gevent＿list．append（gevent．spawn（download＿img， img＿url， num））
   ＃ 實現(xiàn)協(xié)程    gevent．joinall（gevent＿list）if ＿＿name＿＿ ＝＝ ＇＿＿main＿＿＇：    main（）

今天的內容需要記憶的很多，不過也很好玩，爬蟲真的是很有趣，不過現(xiàn)在只是實現(xiàn)了簡單的爬取圖片，而且實驗的這兩個網址對于圖片的反爬機制不是那么好，以后要爬的肯定不是簡單的圖片，而且也不會那么好爬的，需要再學更多的知識，才能做到想爬什么就爬什么。

爬蟲、反爬蟲、反反爬蟲、一個想爬，一個不讓爬，最后變?yōu)閮蓚�程序員之間的戰(zhàn)爭，有意思...