原创 Spark Dataframe 按行隨機打亂
Spark Dataframe 按行隨機打亂 1. 原因 做這個是由於算法的訓練樣本需要打亂。樣本打亂在正常情況下有很多方法，比如下載本地用linux的shuf命令。然而我在用spark-tensorflow-connector做
2020-06-21 13:48:31
原创 PySpark實際應用踩坑
PySpark實際應用踩坑PySpark踩坑記錄1. spark-cassandra-connector2. 配置spark master和worker節點的python環境3. PySpark操作Cassandra4. cron
2020-02-23 12:09:01