原创 Pandas中缺失值/NaN值/空值的處理
isna() 釋義 篩選爲NaN的布爾值，可接受單個標量或者數組 舉例 篩選stu_name爲NaN的所有行： df = pd.DataFrame({'stu_name': ['Tom', 'Tony', 'Jack', 'Jack',
2021-06-15 12:59:01
原创 Ubuntu18關機時出現 A stop job is running for ...導致關機很慢
1. 修改/etc/systemd/system.conf sudo vim /etc/systemd/system.conf 2. 找到一下兩行 #DefaultTimeoutStartSec=90s #DefaultTimeout
2021-06-12 12:59:06
8
原创 Spark算子 - reduceByKey
釋義 reduceByKey類似reduce，但reduceByKey 是先根據key進行分組，再將每個組內的記錄歸併成1個記錄，最終返回一個PairRDD，k爲key類型，v爲每個組歸併後的記錄類型 方法簽名如下： def reduce
2021-06-10 12:59:02
原创 Spark算子 - reduce
釋義 reduce將partition內所有記錄最終計算成1個記錄，結果類型與reduce 時數據類型一致 方法簽名如下： def reduce(f: (T, T) => T): T = withScope { ... } f
2021-06-09 12:58:57
原创 Pandas常用操作 - 去重
1. 使用 drop_duplicates 去重 1.1 初始化數據 df = pd.DataFrame({'stu_name': ['Tom', 'Tony', 'Jack', 'Jack', np.nan], 'stu_age': [1
2021-06-07 12:58:58
1
原创 Pandas常用操作 - 新增數據列
初始化測試數據 df = pd.DataFrame({'stu_name': ['Nancy', 'Tony', 'Tim', 'Jack', 'Lucy'], 'stu_age': [17, 16, 16, 21, 19]}) st
2021-06-07 12:58:58
原创 Spark算子 - aggregateByKey
釋義： aggregateByKey邏輯類似 aggregate，但 aggregateByKey針對的是PairRDD，即鍵值對 RDD，所以返回結果也是 PairRDD，結果形式爲：(各個Key, 同樣Key對應的Value聚合後的值
2021-05-31 12:59:08
原创 Spark入門案例 - wordcount
代碼： object WordCount { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder().ap
2021-05-31 12:59:08
原创 Spark算子 - aggregate
釋義： 將每個partition內元素進行聚合，然後將每個partition的聚合結果進行combine，得到最終聚合結果。且最終結果允許跟原始RDD類型不同 方法簽名如下： def aggregate[U: ClassTag](zeroV
2021-05-31 12:59:08
原创 Scala中實現break與continue
Scala是函數式編程語言，因此沒有直接的break與continue關鍵字，要實現break與continue效果，需要繞一下。 需要導入包： import util.control.Breaks.{break, breakable}
2021-05-26 12:58:57
原创 linux中date命令格式化輸出/linux重定向到以當前時間命名的文件
1. 格式 date [+格式]，如： date +%Y-%m-%d 如果有空格，需要用雙引號括起來。（建議無論有無空格，格式化輸出時都用雙引號括起來） date "+%Y-%m-%d %H:%M:%S" 常用格式釋義： %Y 年
2021-05-25 12:59:05
原创 VMware中Ubuntu18配置靜態IP地址
1. VMware：編輯 -> 虛擬網絡編輯器 -> 更改設置 2. 取消選中：使用本地DHCP服務將IP地址分配給虛擬機，並記住子網ip 3. 點擊NAT設置，記住網關IP 正常情況下VMware的網關IP是以 192.168.x.2結
2021-05-16 12:59:07
原创 Ubuntu18配置靜態IP地址
1 查看網卡名稱 ifconfig 2 配置靜態IP 注意：Ubuntu18固定IP的方式跟Ubuntu18之前版本的的配置方式不同，Ubuntu18之前在/etc/network/interfaces進行配置，Ubuntu18及之後版
2021-05-16 12:58:57
原创 MySQL修改登錄密碼的幾種方式
1.更新mysql.user表 UPDATE user SET authentication_string = password('112233') where user = 'root'; FLUSH PRIVILEGES; 2.用SE
2021-05-10 12:58:56
原创 Java兩個整數相除保留n位小數
方式1：被除數轉double後，除以除數，結果是一個double類型的數，將double結果按要求保留n位小數即可。 保留n位小數的寫法 int a = 10; int b = 3; double res = new BigDecimal
2021-05-06 12:59:07