原创 模塊四 第一週 作業二 分類

1 問題描述 將數據array([6, 9, 6, 1, 1, 2, 8, 7, 3, 5, 6, 3, 5, 3, 5, 8, 8, 2, 8, 1, 7, 8,7, 2, 1, 2 , 9, 9, 4, 9]) 轉化爲矩陣

原创 模塊四 第一週 作業三 日誌分析

1 問題描述 請將數據導入pandas中,加上列名 檢測重複值 檢測異常值 分析api和interval這兩列的數據是否對分析有用,如果無用,說明爲什麼後將這兩列丟棄 使用created_at這一列的數據作爲時間索引 分

原创 anconda 使用虛擬環境

創建虛擬環境 conda create -n env_name python=3.7 激活虛擬環境 activate env_name windows source activate env_name

原创 模塊三 第二週 作業三 分佈式scrapy-redis

1 問題描述 將Scrapy抓取必聯網項目升級爲Scrapy‐Redis分佈式爬蟲,並完成代理IP池proxyPool的開發 完成Scrapy‐Redis組件的安裝 完成代理IP池proxyPool的開發 將必聯網爬蟲項目升級爲

原创 scrapy中request與response對象屬性介紹

原文 Request 對象 Request構造器方法的參數列表: Request(url [, callback=None, method='GET', headers=None, body=None,cookies=No

原创 模塊三 第二週 作業二 招標網站

1 問題描述 使用Scrapy框架,完成必聯網招標信息採集,採集字段: 2 解題提示 必聯網有些頁面需要登錄纔可以得到響應,需要手動登錄,並得到瀏覽器中的Cookie值,把Cookie加入到請求頭中 關於數據的提取,有些需要定

原创 模塊三 第一週 作業三 熱門文章

1 問題描述 在CSDN站內搜索技術關鍵詞,例如java,下載前幾頁熱門文章HTML源碼到本地,文件命名方 式與博客大標題保持一致 2 解題提示 本週錄播課最後兩節 3 評分標準 本題共計40分 破解URL規則,通過Xpath

原创 模塊三 第一週 作業二 百度翻譯

1 問題描述 利用百度翻譯的接口,製作一箇中譯英翻譯小工具。 2 解題提示 在百度翻譯之中,輸入單詞,此時接口,找到你需要的接口信息 3 評分標準 找到翻譯的HTTP接口規則 10分 得到服務器響應回來的結果數據,並做好處理,

原创 模塊三 第一週 作業一 xpath應用

1 問題解析 2 解題提示 谷歌xpath的添加 xml的理解 xpath的使用 3 評分標準 寫出正確的XPath語句10分 成功輸出課程分類 10分 代碼註釋,規範10分 4 要點解析 谷歌添加xpath方法 加載本

原创 模塊二 第二週 作業三 微課商城

1 問題描述 完善CSDN微課商城系統 在上次作業當中我們完成了後臺管理的開發,這次我們完成前臺的功能 2 解題提示 按照錄播課,本次作業是錄播課的微課商城的一次復現。 3 評分標準 完成首頁、課程詳細頁展示功能 10分

原创 模塊二 第二週 作業二 django後臺

1 問題描述 CSDN微課商城後臺管理開發 2 解題提示 理解django自帶的admin後臺,並來完成對用戶、課程的管理。 3 評分標準 完成CSDN微課商城的模型層開發 10分 完成Admin後臺管理配置 10分 代碼註釋

原创 pycharm 添加解釋器

選擇解釋器 打開設置 選擇解釋器 加載完成 點擊ok 添加解釋器【anconda版本】 找到Python.exe文件位置,進行添加 確定 加載完成之後,點擊ok 添加原生Python解釋器 先確

原创 pycharm連接數據庫

Mariadb與MySQL的內核是一樣的,所以在這裏選擇MySQL就可以 選版本 下載插件 填入數據信息 測試連接 測試成功 點擊ok進行使用 點贊 收藏 分享 文章舉報

原创 pycharm 調試代碼

1 給代碼添加斷點 點擊代碼前方與行數中間的空白區域,給想要調試的代碼添加斷點 2 運行代碼 2.1 右鍵 找到Debug 運行代碼 2.2 點擊右上角進行debug 注意 : debug的文件是否一致 3 調試代碼

原创 Python、pycharm安裝與環境配置

Python安裝 可以默認安裝也可以自定義安裝,不過一定添加環境 默認安裝 安裝成功,close關閉安裝頁面 啓動測試 打開Python 自定義安裝 選擇你要安裝的模塊,全選 自定義安裝位置