網絡爬蟲(十)

今天學習線程,以後寫爬蟲代碼時時會用到,因爲用線程可以解決程序順序運行產生的阻塞,減少運行時間,凡事有兩面性,如果開太多的線程也會造成資源消耗過多造成系統崩潰。
開線程一般用線程池的方式,這樣可減少線程創建和銷燬的頻率。下面上代碼

from multiprocessing.dummy import Pool

def get_page(url):
    print(url)

pool=Pool(4)

arg_list=['url1','url2','url3','url4']
pool.map(get_page,arg_list)

由於python是解釋性語言,函數在一定在調用之前定義。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章