原创 解決sns加載數據load_dataset()報錯問題

一、報錯 看到其他的文章在寫可以使用seaborn的數據集,通過sns.load_dataset的方式獲取數據集進行練習和分析,但是當我輸入: sns.load_dataset('tips') 卻出現如下報錯信息: 在網上搜了

原创 Seaborn常見圖形繪製(kdeplot、distplot)

seaborn是基於matplotlib的Python可視化庫,在matplotlib的基礎上進行了更高級的API封裝,從而使得作圖更加容易,不需要經過大量的調整就能讓圖變得精緻好看。 一、kdeplot(核密度估計圖) 核密度估

原创 理解Pandas的Transform

Pandas具有豐富的功能,transform是與groupby(pandas中最有用的操作之一)組合使用的。一般情況下,我們在groupby之後使用aggregate , filter 或 apply來彙總數據,transfor

原创 Pandas數據處理——map、apply、applymap的異同

在日常的數據處理中,經常會對一個DataFrame進行逐行、逐列和逐元素的操作,對應這些操作,Pandas中的map、apply和applymap可以解決絕大部分這樣的數據處理需求。 import pandas as pd imp

原创 Excel操作:製作to do list

Excel操作:製作to do list **案例:**根據以下表格製作to do list,並形成完成比例與未完成比例及圖表 操作步驟如下: 選中D4單元格,打開開發者工具,插入“複選框”; 右鍵單擊“複選框”選中,再次單擊

原创 Python數據分析第一課:Pandas初入門

數據分析如下所示共6步,而使用Python可以幫助我們完成前5步。 一. Pandas簡介 Pandas 是基於NumPy 的一種工具,該工具是爲了解決數據分析任務而創建的。Pandas 納入了大量庫和一些標準的數據模型,提供了

原创 Python爬蟲第十二課:複習及總結

一、爬蟲總複習 這張圖,它被用來描述瀏覽器的工作原理: 請求和響應可以說貫穿了我們後面的所有學習內容。 一開始,我們給爬蟲下了一個定義:利用程序在網上獲取對我們有用的數據。而獲取數據最關鍵的步驟正是“請求”和“響應”。 由此,我

原创 Python爬蟲第十課:Scrapy框架(1)

前面的關卡中,我們學習瞭如何用協程來提升爬蟲的速度,並且通過項目實操,將協程運用於抓取HI運動的食物數據。 不知道你會不會有這樣一種感覺:要寫出一個完整的爬蟲程序需要做很多瑣碎的工作。比如,要針對不同的網站制定不同的解析方式;要導

原创 Python數據分析第二課:數據的寫入與讀取

一 數據的寫入 我們可以將數據寫入到文件中進行永久性的保存,支持的文件格式有HTML、CSV、JSON、Excel。 csv是最爲常見的以純文本文件存儲數據文件的格式,它的優點是通用性很強,不受操作系統以及具體的軟件的限制。我們

原创 Python數據分析第三課:數據的處理(刪除數據及空值、重複數據的處理)

我們分析的數據來源有很多種,例如:爬取、公司數據庫、數據公司等。但是這些數據中有些數據項是我們不需要的,甚至可能會存在重複數據和空值的情況。 一、刪除數據 import pandas as pd df = pd.read_exce

原创 Excel操作:使用offset函數讓數據透視表動態更新

一、offset函數 offset函數是一個引用函數,表示引用某一個單元格或者區域 offset函數是以指定的應用爲參考系,通過上下左右偏移得到新的區域的引用。返回的引用可以是一個單元格也可以是一個區域。並且可以引用指定行列數的區

原创 Python爬蟲第五課:存儲數據

一、存儲數據的方式 同樣是存儲數據的文件,“csv”格式文件和Excel文件有什麼區別呢? 1. CSV文件 我們知道json是特殊的字符串。其實,csv也是一種字符串文件的格式,它組織數據的語法就是在字符串之間加分隔符——行與

原创 Python數據分析第十四課:數據分析知識總結

在前面的學習中,我們瞭解了什麼是數據分析:就是從數據裏面尋求真正有價值的信息,並對實際的工作或者生活有一定的指導作用,這個過程就叫數據分析。 由此,我們總結了數據分析的基本流程: Series和DataFrame 接下來,我們主

原创 Python爬蟲第十一課:Scrapy框架(2)——存儲數據

在Scrapy的整個架構中,引擎是可以說有着最高的權利,管理着調度器、下載器、爬蟲和數據管道四個重要的組成部分。 這四個組成部分都聽命於引擎,一絲不苟的執行引擎下發的命令。 本次,我們使用Scrapy爬取職友集的招聘信息,讓我

原创 Python數據分析十三課:數據分析實戰

一個專業的數據分析,他的定位應該是一個“謀士”,所謂謀士,應該運籌帷幄,決勝千里,不出五尺書堂,便知天下大勢。 我們現在已經從IT(Information Technology)時代進入了DT(Data Technology)時代