目錄：
1、Scrapy爬取網易雲音樂和評論（一、思路分析）
2、Scrapy爬取網易雲音樂和評論（二、Scrapy框架每個模塊的作用）
3、Scrapy爬取網易雲音樂和評論（三、爬取歌手）
4、Scrapy爬取網易雲音樂和評論（四、關於API）
5、Scrapy爬取網易雲音樂和評論（五、評論）
項目GitHub地址：https://github.com/sujiujiu/WYYScrapy
前面有提到，API的參考鏈接，另外再放上幾個，
1、http://moonlib.com/606.html（我用的這個）
2、http://blog.csdn.net/qujunjie/article/details/34422379
3、https://binaryify.github.io/NeteaseCloudMusicApi/#/?id=neteasecloudmusicapi（這個比較官方，我也不知道是不是官方，但是很全很全很全）
我們的順序是：
1、歌手專輯
2、專輯信息（不包括評論）
3、歌曲信息（不包括評論）
4、歌詞
5、專輯和歌曲評論（這個另起一章寫）
我們拿一個來講解，其他的類似：
比如，歌手專輯：
http://music.163.com/api/artist/albums/166009?id=166009&offset=0&total=true&limit=12- offset：偏移量，它其實算是比如歌手的專輯頁每頁有12首，第一頁的offset就是0（一般是0開頭），然後第二頁offset就是12，第一頁0~11剛好12位數，所以offset從12開頭，以此類推。可以算作是
second_offset = limit*(first_offset+1) - limit：一頁有多少，這個可以改，但是不同的網站有不同的規律，比如豆瓣，它這個limit的上限跟當頁顯示給你看的不同，比如一頁默認給你顯示20條數據，但是你給它改成50也會給你返回50條。但是網易雲不一樣，它顯示是12條，它的limit可以往下，但不能往上，往上它返回也是12條，它這是固定的，那超過怎麼辦呢？假設36條，那麼3頁對吧，根據前面的offset，不停的改offset，這數字一看就有規律，很容易就能想到用遍歷，如圖，這是我寫的一個歌手專輯信息的函數：
我的那個get_req()函數就是對requests.get做了些處理，中途肯定會遇到各種各樣的狀態碼對吧，這個你們自己去思考。
這裏我沒有用response，因爲不涉及到一個完整的傳遞鏈，它只是要存進數據庫的某一個字段，如圖，這個纔是我要進行存儲的的函數，其中調用了get_artist_album_info()這個函數，它只是作爲一個字段存進了item。：
然後回到get_artist_album_info()函數，這裏的建議就是，將固定的不變，會變的用params這個參數，requests.get它後面可以傳各種參數，包括params，以及前面的headers。
這個params裏有四個參數：
* id：歌手的id，事實上，有它，albums_url裏那個%s佔位的地方可以不要，但是因爲最開始參照的那個網站有，也是測試成功就沒管了。（上面我提供的鏈接1和2的區別在這裏，用哪個都行）
* offset：這個首先看到我的page_count，就是指頁數，比如3頁，但其實網易雲這個抓不到有多少頁，其實應該是從第一頁的json返回的專輯信息得到的總專輯數量有多少，然後進行處理的。但是因爲寫這個的時候我直接爬的頁數，但是當時沒測試，所以建議改成這樣就可以了：
# album_count是一個歌手所有專輯的總數
# 獲得的方法可以先爬第一頁的json數據，或者別的你們自己找
for offset in range(0,album_count,12):
params = {
'id':singer_id,
'offset':offset,
'total':'true',
'limit':12
}- total：這個參數的意義除了在評論有用，這裏不確定到底有什麼用，最開始我以爲，改成TRUE能不需要offset，會返回所有數據，後來發現沒什麼區別，最大上限就是一頁12，放着也沒關係。
- limit：這裏就是12
API
以此類推，其他到底都是這樣了，這裏把http://moonlib.com/606.html的API集中寫一下，method都是GET：
1、歌手專輯：
# 歌手專輯：
# 三種寫法，隨意，推薦第三種，後面都是
1、http://music.163.com/api/artist/albums/[artist_id]/
2、http://music.163.com/api/artist/albums/166009/id=166009&offset=0&total=true&limit=5
3、url='http://music.163.com/api/artist/albums/166009'
params = {....}2、專輯裏的歌曲列表
# 專輯裏的歌曲列表
http://music.163.com/api/album/2457012?ext=true&id=2457012&offset=0&total=true&limit=103、歌曲信息
# 歌曲信息
# 這裏說明一下，%5B和%5D就是一對中括號[]，最好改成[]，像歌手專輯裏第一種寫法那個一樣，因爲%5B那種寫法還要處理，且麻煩。
http://music.163.com/api/song/detail/?id=28377211&ids=%5B28377211%5D4、歌詞信息
# 這個跟其他都不一樣，後面的lv、kv、tv是固定的，只要改id即可。
http://music.163.com/api/song/lyric?os=pc&id=93920&lv=-1&kv=-1&tv=-1