原创 python 排序
import numpy as np print(np.argmax(xx), np.argmin(xx)) # 最大值索引值 mm = np.arange(10) np.random.shuffle(mm) # 隨機打亂m
2020-02-24 03:17:33
原创 python 日期爲昨天
# method 1: import arrow yesterday = arrow.utcnow().to('local').shift(days=-1).format('YYYY-MM-DD') print(yesterda
2020-02-24 03:17:33
原创 以太坊
以太幣在中國生根落地，引得市場紛紛側目，然而在價格已經創下歷史新高的時刻，以太幣的到來，國外的學者已經指出在整個以太幣的智能合約交易中，10%是龐氏騙局，也就是說有人在藉以太坊平臺發融資項目獲得資金，而以太幣則成爲一種媒介，這些融
2020-02-24 03:17:33
原创 一口氣安裝完keras,tensorflow,pytorch,opencv
這篇作廢 我的下一篇纔是安裝tensorflow及keras真理 環境： anaconda4.2;python3.5;windows10,64,cuda 先前辛苦的cuda9.1無用，大家想用gpu一定要選cuda8.0，我以爲官
2020-02-24 03:17:33
原创 python3--map,reduce,filter,zip
# coding=utf-8 pool1 = [1,2,3,4] pool2 = ['a','b','c','d'] ## map() r1 = list(map(lambda x: x*2,pool1)) print(r1)
2020-02-24 03:17:33
原创 用pyspark的方式寫count(case when)
import pyspark.sql.functions as fn ff = lambda cond: fn.countDistinct(fn.when(cond,df['s_id']).otherwise(None)) co
2019-09-05 05:23:05
原创 sql自然周統計
-- 最近2個自然周統計： SELECT count(CASE WHEN (int(datediff(scheduled_date,'2001-01-01')/7) IN (int(datediff(CURRENT_DA
2019-06-25 06:34:54
原创 pysaprk求max
#column:A,B # Method 1: Use describe() float(df.describe("A").filter("summary = 'max'").select("A").collect()[0].a
2019-06-11 12:43:02
原创 pyspark中"and"條件使用注意
def getLevel(ltv): return fn.when((lv >= 6.81) & (lv <= 10.00),'S')\ .otherwise( fn.when((lv >= 6.08)
2019-05-01 01:06:12
原创 kafka-python_&&_pysparkStreamingContext
# coding=utf-8 from pyspark import SparkContext from pyspark.streaming import StreamingContext sc = SparkContext("
2019-03-27 05:26:12
原创 pyspark&pandas之字符串篩選dataframe
#pandas: import numpy as np import pandas as pd df = pd.DataFrame(np.array([['banana',1],['apple',2],['pear',3]]).re
2019-02-23 18:08:55
原创 matplotlib_linux作圖_時間序列
## linux: import matplotlib matplotlib.use('Agg') import matplotlib.pyplot as plt import matplotlib.dates as mdates
2019-01-16 17:49:19
原创 pyspark之分組排序
import pyspark.sql.functions as fn from pyspark.sql import Window df.withColumn("row_number", fn.row_number().over(W
2018-12-23 14:09:37
1
原创 pyspark_dataframe
from __future__ import division,print_function import time import datetime import numpy as np import pandas as pd fro
2018-09-18 02:27:47
2