一個簡單的抓取百度熱度數據並可視化的demo

我的B站賬號~

番茄愛大米 ,可以關注下嗷~

可視化工具

https://github.com/Jannchie/Historical-ranking-data-visualization-based-on-d3.js

比如抓取2011-2020 100多位日本女星的百度熱度數據

female_japanese_hot_rank.py


from get_index import BaiduIndex
import csv
# 可以 from get_extended import BaiduIndex 使用爬取媒體指數和諮詢指數的爬蟲,然後自己看一下初始化類時的參數

if __name__ == "__main__":
    """
    可以傳入很多關鍵詞
    """
    # 查看城市和省份的對應代碼
    print(BaiduIndex.city_code)
    print(BaiduIndex.province_code)
    import sys
    print(sys.getdefaultencoding())


    # main
    name_string = '''水原希子 池田依來沙 石原里美 伊丹愛莉 水崎綾女 櫻庭奈奈美 真野惠裏菜 松岡李那 Kiki Sukezan 深津繪里 木內舞留 rola 葵若菜 日笠陽子 星名利華 若村麻由美 入山法子 Vnna 日向奈奈美 清水愛 
                    板野友美 今野杏南 冨手麻妙 岡本多緒 筱崎愛 星名美津紀 橋本環奈 費沁源 藤井美菜 長澤雅美 高橋紗妃 橋本愛 天海佑希 未來穗香 二階堂富美 相澤侑我 菊地凜子 武田玲奈 白石麻衣 濱邊美波 福島莉拉 
                    佐野雛子 武田梨奈 優希美青 上白石萌音 桐谷美玲 鈴木梨央 菜菜緒 渡邊直美 齋藤飛鳥 山本美月 新垣結衣 中條彩未 戶田惠梨香 川榮李奈 竹富聖花 上戶彩 葉月星美 小松菜奈 松岡茉優 有村架純 伊藤梨沙子 井上朋子 谷花音 高山南 宮原華音 
                    志尊淳 深田恭子 山本舞香 廣瀨鈴 忽那汐裏 鬆井愛莉 池脅千鶴 多部未華子 前田敦子 水野索諾婭 濱田心音 吉田羊 黑木瞳 田中真弓 安藤櫻 米倉涼子 原涼子 藤本七海 美沙玲奈 山谷花純 林原惠美 北川景子 飯豐萬理江 吉高由裏子 
                    澤尻繪里香 滿島光 小山內花凜 黑木華 上原實矩 山崎紘菜 佐佐木希 早見朱莉 井上真央 富田美憂 櫻井由紀 小池榮子 真飛聖 松本若菜 川上朱莉杏 岡村明美 野村麻純 泉品子 木村文乃 山崎和佳奈 西村知美 河井青葉 內藤裏沙 剛力彩芽 
                    土屋太鳳 悠木碧 田中日南乃 大谷育江 佐藤麻衣 杉咲花 新木優子 渡邊麻友 木村綠子 尾野真千子 山口由裏子 中野良子 宮澤理惠 鈴木優華 志村玲那 木村葉月 竹內結子 門脅麥 小芝風花 鬆峯莉璃 片瀨那奈 千田愛紗 高畑淳子 本田翼 
                    真木陽子 高畑充希 三浦璃那 小慄有以 高梨臨 餘貴美子 江野沢愛美 米姆拉 鈴木保奈美 橫山惠 香椎由宇 小山茉美 平祐奈 比嘉愛未 倉科加奈 木村佳乃 綾瀨遙 上白石萌歌 市川實日子 千眼美子 野波麻帆 吉永小百合 阪本真綾 柴崎幸 
                    西野七瀨 濱崎步 井上喜久子 阿部菜渚美 黑島結菜 三石琴乃 山田望葉 優香 大原櫻子 波瑠 大原惠 早見沙織 稻森泉 西內瑪利亞 奧仲麻琴 水田山葵 石田百合子 小島聖 佐佐木心音 杉原杏璃 巖佐真悠子 玉城Tina 島崎遙香 miwa 橘梨紗 
                    大島優子 小嶋陽菜 花澤香菜 AKB48 柳友裏菜 魏涼子 森尚子 蓮佛美沙子 三瓶由布子 吉瀨美智子 壇蜜 川口春奈 嘉數由美 樋口可南子 比留川遊 黑木明紗 清水久留巳 桃井薰 成海璃子 菊池心 淺川梨奈 板谷由夏 筱原涼子 
                    松隆子 相武紗季 石橋杏奈 藤谷文子 內田有紀 小林涼子 白石涼子 早見明裏 永野芽鬱 森寬和 堀北真希 中村杏 片山萌美 菊川憐 竹內順子 大友花戀 木村光希 武井咲 藤本泉 原田夏希 鬆井玲奈 宮崎葵 福原愛 上野樹里 千秋 石井薇子 水樹奈奈 
                    折笠富美子 櫻井日奈子 石野真子 澤城美雪 矢島晶子 石井杏奈 藏下穗波 階戶瑠李 能年玲奈 蘆田愛菜 志田友美 志田未來 夏菜 麻生佑未 福原遙 松雪泰子 茅野愛衣 中川翔子 渡邊菜生子 吉行和子 鬆川星 田中美佐子 田中麗奈 小林星蘭 馬渕英俚可 
                    小林喜名子 菅野美穗 伊藤加奈惠 生田繪梨花 杉本有美 山本彩 伊藤夏帆 渡邊真起子 鬆阪慶子 渡邊佑太朗 豐崎愛生 小泉今日子 逢澤莉娜 阪本千夏 堀內敬子 平手友梨奈 篠田麻裏子 松下奈緒 臼田麻美 畑野浩子 源利華 安達佑實 八千草薫 桑谷夏子 森川葵 檀麗 夏目三久 白石美帆 
                    由加奈 吉岡裏帆 中村千繪 峯村理惠 鈴木京香 藤原紀香 廣瀨愛麗絲 阪井真紀 淺田真央'''

    keywords = name_string.split()

    baidu_index = BaiduIndex(keywords, '2011-01-01', '2020-03-16')
    with open('female_japan.csv', mode='w') as csv_file:
        fieldnames = ['name', 'type', 'value','date']
        writer = csv.DictWriter(csv_file, fieldnames=fieldnames,lineterminator='\n')
        writer.writeheader()
        for index in baidu_index.get_index():
            if index['type'] == 'all' and str(index['date']).endswith('2'):
                writer.writerow({'name': index['keyword'], 'value': index['index'],'date': index['date']})

config.py

COOKIES ='Cookie: BIDUPSID=3B724A614E661778DCC0031549E9B20A; PSTM=1577001150; BAIDUID=3B724A614E66177875BF3DBF0E82344F:FG=1; BD_UPN=12314353; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; sug=3; ORIGIN=0; bdime=0; BD_HOME=1; delPer=0; BD_CK_SAM=1; PSINO=1; COOKIE_SESSION=460_0_9_4_19_9_0_0_4_8_5_0_461_0_4_0_1585141900_0_1585141904%7C9%230_0_1584803198%7C1; BDUSS=plWk5uOWpZMnpnNUQybnZCaEZyZzJNd1F6WFd-VkNlQXBZVGFFSDJndzA4YUplRUFBQUFBJCQAAAAAAAAAAAEAAABaIIUzzqjSu0LJ8bGl4MMAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAADRke140ZHteYX; H_PS_PSSID=30973_1467_21105_30908_30824_31086; sugstore=0'



PROVINCE_CODE = {'山東': '901', '貴州': '902', '江西': '903', '重慶': '904', '內蒙古': '905', '湖北': '906', '遼寧': '907', '湖南': '908', '福建': '909', '上海': '910', '北京': '911', '廣西': '912', '廣東': '913', '四川': '914', '雲南': '915', '江蘇': '916', '浙江': '917', '青海': '918', '寧夏': '919', '河北': '920', '黑龍江': '921', '吉林': '922', '天津': '923', '陝西': '924', '甘肅': '925', '新疆': '926', '河南': '927', '安徽': '928', '山西': '929', '海南': '930', '臺灣': '931', '西藏': '932', '香港': '933', '澳門': '934'}

CITY_CODE = {'廣州': '95', '深圳': '94', '東莞': '133', '雲浮': '195', '佛山': '196', '湛江': '197', '江門': '198', '惠州': '199', '珠海': '200', '韶關': '201', '陽江': '202', '茂名': '203', '潮州': '204', '揭陽': '205', '中山': '207', '清遠': '208', '肇慶': '209', '河源': '210', '梅州': '211', '汕頭': '212', '汕尾': '213', '鄭州': '168', '南陽': '262', '新鄉': '263', '開封': '264', '焦作': '265', '平頂山': '266', '許昌': '268', '安陽': '370', '駐馬店': '371', '信陽': '373', '鶴壁': '374', '周口': '375', '商丘': '376', '洛陽': '378', '漯河': '379', '濮陽': '380', '三門峽': '381', '濟源': '667', '成都': '97', '宜賓': '96', '綿陽': '98', '廣元': '99', '遂寧': '100', '巴中': '101', '內江': '102', '瀘州': '103', '南充': '104', '德陽': '106', '樂山': '107', '廣安': '108', '資陽': '109', '自貢': '111', '攀枝花': '112', '達州': '113', '雅安': '114', '眉山': '291', '甘孜': '417', '阿壩': '457', '涼山': '479', '南京': '125', '蘇州': '126', '無錫': '127', '連雲港': '156', '淮安': '157', '揚州': '158', '泰州': '159', '鹽城': '160', '徐州': '161', '常州': '162', '南通': '163', '鎮江': '169', '宿遷': '172', '武漢': '28', '黃石': '30', '荊州': '31', '襄陽': '32', '黃岡': '33', '荊門': '34', '宜昌': '35', '十堰': '36', '隨州': '37', '恩施': '38', '鄂州': '39', '咸寧': '40', '孝感': '41', '仙桃': '42', '天門': '73', '潛江': '74', '神農架': '687', '杭州': '138', '麗水': '134', '金華': '135', '溫州': '149', '台州': '287', '衢州': '288', '寧波': '289', '紹興': '303', '嘉興': '304', '湖州': '305', '舟山': '306', '福州': '50', '莆田': '51', '三明': '52', '龍巖': '53', '廈門': '54', '泉州': '55', '漳州': '56', '寧德': '87', '南平': '253', '哈爾濱': '152', '大慶': '153', '伊春': '295', '大興安嶺': '297', '黑河': '300', '鶴崗': '301', '七臺河': '302', '齊齊哈爾': '319', '佳木斯': '320', '牡丹江': '322', '雞西': '323', '綏化': '324', '雙鴨山': '359', '濟南': '1', '濱州': '76', '青島': '77', '煙臺': '78', '臨沂': '79', '濰坊': '80', '淄博': '81', '東營': '82', '聊城': '83', '菏澤': '84', '棗莊': '85', '德州': '86', '威海': '88', '濟寧': '352', '泰安': '353', '萊蕪': '356', '日照': '366', '西安': '165', '銅川': '271', '安康': '272', '寶雞': '273', '商洛': '274', '渭南': '275', '漢中': '276', '咸陽': '277', '榆林': '278', '延安': '401', '石家莊': '141', '衡水': '143', '張家口': '144', '承德': '145', '秦皇島': '146', '廊坊': '147', '滄州': '148', '保定': '259', '唐山': '261', '邯鄲': '292', '邢臺': '293', '瀋陽': '150', '大連': '29', '盤錦': '151', '鞍山': '215', '朝陽': '216', '錦州': '217', '鐵嶺': '218', '丹東': '219', '本溪': '220', '營口': '221', '撫順': '222', '阜新': '223', '遼陽': '224', '葫蘆島': '225', '長春': '154', '四平': '155', '遼源': '191', '松原': '194', '吉林': '270', '通化': '407', '白山': '408', '白城': '410', '延邊': '525', '昆明': '117', '玉溪': '123', '楚雄': '124', '大理': '334', '昭通': '335', '紅河': '337', '曲靖': '339', '麗江': '342', '臨滄': '350', '文山': '437', '保山': '438', '普洱': '666', '西雙版納': '668', '德宏': '669', '怒江': '671', '迪慶': '672', '烏魯木齊': '467', '石河子': '280', '吐魯番': '310', '昌吉': '311', '哈密': '312', '阿克蘇': '315', '克拉瑪依': '317', '博爾塔拉': '318', '阿勒泰': '383', '喀什': '384', '和田': '386', '巴音郭楞': '499', '伊犁': '520', '塔城': '563', '克孜勒蘇柯爾克孜': '653', '五家渠': '661', '阿拉爾': '692', '圖木舒克': '693', '南寧': '90', '柳州': '89', '桂林': '91', '賀州': '92', '貴港': '93', '玉林': '118', '河池': '119', '北海': '128', '欽州': '129', '防城港': '130', '百色': '131', '梧州': '132', '來賓': '506', '崇左': '665', '太原': '231', '大同': '227', '長治': '228', '忻州': '229', '晉中': '230', '臨汾': '232', '運城': '233', '晉城': '234', '朔州': '235', '陽泉': '236', '呂梁': '237', '長沙': '43', '岳陽': '44', '衡陽': '45', '株洲': '46', '湘潭': '47', '益陽': '48', '郴州': '49', '湘西': '65', '婁底': '66', '懷化': '67', '常德': '68', '張家界': '226', '永州': '269', '邵陽': '405', '南昌': '5', '九江': '6', '鷹潭': '7', '撫州': '8', '上饒': '9', '贛州': '10', '吉安': '115', '萍鄉': '136', '景德鎮': '137', '新餘': '246', '宜春': '256', '合肥': '189', '銅陵': '173', '黃山': '174', '池州': '175', '宣城': '176', '巢湖': '177', '淮南': '178', '宿州': '179', '六安': '181', '滁州': '182', '淮北': '183', '阜陽': '184', '馬鞍山': '185', '安慶': '186', '蚌埠': '187', '蕪湖': '188', '亳州': '391', '呼和浩特': '20', '包頭': '13', '鄂爾多斯': '14', '巴彥淖爾': '15', '烏海': '16', '阿拉善盟': '17', '錫林郭勒盟': '19', '赤峯': '21', '通遼': '22', '呼倫貝爾': '25', '烏蘭察布': '331', '興安盟': '333', '蘭州': '166', '慶陽': '281', '定西': '282', '武威': '283', '酒泉': '284', '張掖': '285', '嘉峪關': '286', '平涼': '307', '天水': '308', '白銀': '309', '金昌': '343', '隴南': '344', '臨夏': '346', '甘南': '673', '海口': '239', '萬寧': '241', '瓊海': '242', '三亞': '243', '儋州': '244', '東方': '456', '五指山': '582', '文昌': '670', '陵水': '674', '澄邁': '675', '樂東': '679', '臨高': '680', '定安': '681', '昌江': '683', '屯昌': '684', '保亭': '686', '白沙': '689', '瓊中': '690', '貴陽': '2', '黔南': '3', '六盤水': '4', '遵義': '59', '黔東南': '61', '銅仁': '422', '安順': '424', '畢節': '426', '黔西南': '588', '銀川': '140', '吳忠': '395', '固原': '396', '石嘴山': '472', '中衛': '480', '西寧': '139', '海西': '608', '海東': '652', '玉樹': '659', '海南': '676', '海北': '682', '黃南': '685', '果洛': '688', '拉薩': '466', '日喀則': '516', '那曲': '655', '林芝': '656', '山南': '677', '昌都': '678', '阿里': '691'}
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章