原创 timedelta函數和relativedelta

時間問題是一個經常會遇到的問題,我們在使用python處理時間問題時最長用的是time和datetime這兩個模塊,一般來講,這兩個模塊足以解決工作中遇到的大部分問題了,但是基於兩個原因,今天來記錄一下另外一個模塊---relatived

原创 pandas 出現list object is not callable的報錯

最近再處理數據的時候,pandas突然報錯list object is not callable,之前瞭解過類似的錯誤知道,出現這個錯誤無非一下兩種情況: 1、命名不規範,使用了關鍵字參數,也就是將python保留的關鍵字給重用了 (不僅

原创 特徵值和特徵向量的理解

在線性代數的最後,我們都會學矩陣的特徵值分解,我們知道一個方陣A經過特徵值分解後就得到特徵向量和特徵值了。那麼,這個所謂的特徵值和特徵向量到底是什麼東西呢? 我們一上來就會學到這樣的一個公式: Ax = λx,其中x是一個向量 這個式子是

原创 pandas之透視表

說到透視表,我們可能更多的是想到excel的透視表格,實際上作爲比excel更加強大的pandas一樣也有透視表的操作,功能可能會更加強大,發現一個比較經典的關於透視表的示例(貌似是一篇翻譯出來的),可以和大家一起分享一下。 介紹 也許大

原创 pandas 聚合函數agg

今天看到pandas的聚合函數agg,比較陌生,平時的工作中處理數據的時候使用的也比較少,爲了加深印象,總結一下使用的方法,其實還是挺好用的。 DataFrame.agg(func,axis = 0,* args,** kwargs )

原创 標準差的理解

我們在數據的處理過程中,或者在數據分析的過程中,對數據的驗證是必要的一步,我們要去了解數據的有效性和真實性,這樣才能更加準確的用數據說明問題,這裏講一下幾個簡單的關於數據的概念,可以幫助我們來理解相應的統計學問題。 概念: 首先講一下標準

原创 python 高級函數filter

我曾在不止一篇博客裏提及過python的高級函數這個問題,當然網上也有很多的相關示例,今天記錄一下關於filter這個函數的一點使用場景。 str_list=['//img14.360buyimg.com/n5/s85x85_jfs/t

原创 python all函數用法

python的內置函數有很多,高級函數也有很多,今天講一個小小的例子,因爲之前沒有用過,所以在這裏記錄一下。 使用場景:給出一個由字符串組成的列表,怎麼取判斷每一個字符串裏是不是包含共同的一個部分,例如下面: str_list=['//

原创 numpy關於視圖和副本的區別

    numpy在數據處理時的優勢時顯而易見的,談到numpy,會經常聽到關於視圖和副本的說法,今天就來記錄一下視圖個副本的區別。 首先講一下兩者的定義: 副本是一個數據的完整的拷貝,如果我們對副本進行修改,它不會影響到原始數據,物理內

原创 numpy廣播機制以及運算總結

一、概述 在Numpy中當數組進行運算時,如果兩個數組的形狀相同,那麼兩個數組相乘就是兩個數組的對應位相乘,這是要求維數相乘,並且各維度的長度相同,但是當運算中兩個數組的形狀不同使時,numpy將會自動觸發廣播機制,所以我們要了解nump

原创 手機抓包工具fiddler的安裝教程

抓包工具可能是一個比較常見的應用工具,在這裏總結一下安裝的整個流程,以便需要時可以快速的設置和安裝好。 第一步: 抓包工具下載: fiddler工具下載網址:http://www.telerik.com/download/fiddler

原创 linux下各個目錄得作用及其內容

在 Linux 下,我們看到的是文件夾(目錄)但是一直沒弄明白每個目錄文件的作用和內容,今天在這裏總結一下,加強自己的記憶。   在早期的 UNIX 系統中,各個廠家各自定義了自己的 UNIX 系統文件目錄,比較混亂。Linux 面世不

原创 Pandas 寫入excel報錯UserWarning: Ignoring URL

報錯如下: UserWarning: Ignoring URL..................................................with link or location/anchor > 255 cha

原创 正則表達式用法,匹配方式詳解

可能我們瞭解正則表達式,很容易想到改用什麼符號來匹配自己需要的數據(類似\d \w \s   .*  .......),但是我們今天不講解這一方面的用法和規則,大家都明白,也很容易搜索到這一塊的內容,接下來我們來看一下正則的幾種匹配方法以

原创 Xshell上傳文件到linux服務器

XShell上傳文件到Linux服務器上 在學習Linux過程中,我們常常需要將本地文件上傳到Linux主機上,這裏簡單記錄下使用Xsheel工具進行文件傳輸 1:首先連接上一臺Linux主機 2:輸入rz命令,看是否已經安裝了lrzsz