原创 pySpark創建DataFrame的方式
pySpark創建DataFrame的方式 有時候需要在迭代的過程中將多個dataframe進行合併（union），這時候需要一個空的初始dataframe。創建空datafra
2020-06-08 01:05:48
原创 Java 中 HashMap 初始化
Java 中 HashMap 初始化 1、HashMap 初始化的文藝寫法 HashMap 是一種常用的數據結構，一般用來做數據字典或者 Hash 查找的容器。普通青年一般
2020-06-08 01:05:48
原创 pyspark dataframe修改列的dtype
pyspark dataframe修改列的dtype 先查看一下各列: df.printSchema() root |-- Id: string (nullable = true)
2020-06-08 01:05:48
原创 java清空list的多種方法
java清空list的多種方法 1.用list.clear()方法清空list；用此方法，其它引用該list的值也會變成空 list2 = list;//此時
2020-06-08 01:05:48
原创 PySpark error採坑記
PySpark error採坑記 最近在跑pyspark任務有報錯：PySpark error: AttributeError: 'Non
2020-05-26 07:08:31
原创 python JSON ValueError
python JSON ValueError: Expecting property name: line 1 column 2 (char 1) 使用json.loads，解析以下數據爲json格式時，報錯 a = [{'start_
2020-05-26 07:08:31
原创 JAVA 隨機取出數組中N條不重複的數據
JAVA 隨機取出數組中N條不重複的數據 public static void main(String[] args) { List<String> list = new Ar
2020-05-26 07:08:31
原创 Java類方法調用-
Java類方法調用--Java中的一個類怎麼調用另一個類中的方法 如果另一個類中的那個方法是私有的話，就不能直接調用到，如果是其他類型的話看情況，如果是靜態的（static）話，直接用類名可以調用到，如果是非靜態的，
2020-05-26 07:08:31
原创 查看Hive中表的所有信息（結構、字段、存放路徑、屬性）
查看Hive中表的所有信息（結構、字段、存放路徑、屬性） 1. 查詢創建表信息（show create table） hive> show create table alpha_sales_staff_info;
2020-05-20 07:26:49
原创 計算廣告中主要模塊、策略及其場景
計算廣告中主要模塊、策略及其場景 本文將會講述計算廣告（主要是DSP）中的主要模塊、用到的策略及其場景。筆者希望大家能和ta一樣，在瞭解廣告業務的同時，還能對策略的設計有一定了解，總結出一些
2020-05-07 05:14:38
原创 在Redis裏，如何從海量key中查詢出某一個固定前綴所有的key？
在Redis裏，如何從海量key中查詢出某一個固定前綴所有的key？ 在Redis裏，如何從海量key中查詢出某一個固定前綴所有的key？ 答：如果該機器是生產環境正在對外提供服務，不建議使用keys * pattern的方法進
2020-05-07 05:14:38
原创 java的finally用法
java的finally用法 finally作爲異常處理的一部分，它只能用在try/catch語句中，並且附帶一個語句塊，表示這段語句最終一定會被執行（不管有
2020-04-28 20:00:34
原创 redis啓動.停止.重啓
redis啓動.停止.重啓 Linux下安裝 # wget http://download.redis.io/releases/redis-2.8.1
2020-04-23 09:38:37
原创 Kafka設計解析Kafka Stream
Kafka設計解析Kafka Stream 本文介紹了Kafka Stream的背景，如Kafka Stream是什麼，什麼是流式計算，以及爲什麼要有Kafka Str
2020-04-20 14:18:52
原创 Java 獲取一天初始時間和結束時間
Java 獲取一天初始時間和結束時間 long current=System.currentTimeMillis(); long zero=current/(1000*3600*24)*(
2020-04-20 14:18:52