原创 dataframe根據時間戳timestamp切分成多個dataframe
原始數據是 dataframe 的一列 “timestamp” 需要按照每5分鐘做一次切分，下面是切分的代碼： import pandas as pd def dataframe_strip(dataframe: pd.Data
2020-07-08 04:48:59
17
原创 java解決Exception in thread “main“ java.lang.OutOfMemoryError: GC overhead limit exceeded
這個就是內存佔用超過了限制，解決方案： 加載文件的容量太大 這個只能切分文件，使用BufferedInputStream一行行讀取： BufferedInputStream bufferedReader = new Buffere
2020-07-08 04:48:59
1
原创 pandas隔行計算均值方差(相鄰行或隔行的均值/方差)
目前沒有找到一個函數來做這件事的,因此自己敲一個: 計算相鄰兩行的均值: dataframe['length_mean'] = (dataframe['length'].shift(-1) + \
2020-07-07 12:02:08
13
原创 python解析pcap提取{src ip,src port,protocol,dst ip, dst port}五元組，再提取網絡流（包括前向流與後向流）
通過解析pcap文件，按照{src ip, src port, transport protocol , dst ip, dst port} 拆分流，並提取出前向流(Forward)與後向流(Backward)，代碼如下： imp
2020-07-07 12:02:08
4
原创 D* Lite(D star lite) 算法 python
D star lite 算法的論文網址：http://idm-lab.org/bib/abstracts/papers/aaai02b.pdf 根本思想是從後往前計算，每當客觀環境發生變化時就可以節省未變環境的計算量： Gi
2020-07-07 12:02:08
6
原创 IDEA（Pycharm）一家子常用快捷鍵Keymap對應的英文、中文與具體位置
本博客旨在把idea全家桶中快捷鍵的英文與中文羅列出來，方便大家自定義 中文 英文 位置 代碼提示 Basic code - completion - Basic 同時多行輸入 Add or Remove Car
2020-07-07 12:02:08
原创 pandas 根據兩列數據篩選dataframe
如果是篩選某一列中等於某個值的那一行,可以使用: dataframe[dataframe['列名'] == "具體值"] 如果篩選某兩列中的值等於具體值的那幾行,可以使用: search_se = dataframe.loc[d
2020-07-07 12:02:08
8
原创 python多線程飛速寫入文件
亂序多線程寫入 舉個最簡單的例子，只要求快速寫入即可，對順序無要求時： import threading def write_string(string, path="test.csv"): with open(path
2020-07-07 12:02:08
1
原创 用代碼轉換整數規劃 max{ } 與 min{ } 形式至代碼形式
在整數規劃時遇到 max{a, b, c} 或是 min{d, e, f} 這樣的約束時, 我們把它轉換爲代碼的形式, 這樣就能方便建模了 def max_to_code(change_list=[]): def get_max
2020-06-26 06:04:40
1
原创 新型冠狀病毒肺炎國內分省分日期從1.16起的全部數據爬取與整理代碼（附下載）
文章目錄一 新型冠狀病毒肺炎國內分省分日期全部數據（1.16起）：原始json格式數據下載csv格式數據下載二 數據來源與抓取數據到手流程三 數據下載與整理成csv 一 新型冠狀病毒肺炎國內分省分日期全部數據（1.16起）： 原始
2020-06-26 06:04:40
原创 seaborn單變量/雙變量/多變量繪圖
首先導入庫： import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt import seaborn as sns %matplotlib i
2020-06-26 06:04:40
28
原创 Python使用exec自動生成代碼並執行,同時得到返回的變量
我們使用exec構造代碼,並用兩種方法打印出來: 構造代碼 code = "a = 6" 執行代碼: exec(code) 在程序中得到a的值: #方法一: exec(print(a)) #方法二: b = locals()["
2020-06-26 06:04:40
原创 Tcpdump抓包實操
文章目錄1 常用命令抓取一個固定主機ip的端口號，並保存在本地後臺抓取多個主機的數據包按抓包的時間保存數據包2 自定義操作自定義網絡接口自定義端口自定義抓取數據包的個數自定義指定協議參考鏈接 剛從wireshark轉到tcpdu
2020-06-26 06:04:29
5
原创 基於fitter庫判斷已知數據服從分佈——python
使用fitter庫，安裝： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fitter Github官網：https://github.com/cokelaer/fitt
2020-06-26 06:04:29
原创 Hurst exponent（赫斯特指數）代碼與R/S值計算——python
文章目錄Hurst不同值對應的圖代碼 基於重標極差(R/S)分析方法基礎上的赫斯特指數，是作爲判斷時間序列數據遵從隨機遊走還是有偏的隨機遊走過程的指標，簡單來講：就是判斷“大勢所趨”裏的“大勢”是什麼 Hurst的值域是 [0,1
2020-06-26 06:04:28
46