原创 【感悟】參加公司首屆黑客馬拉松有感
關於比賽 黑客馬拉松概念源自美國，隨着智能手機風行，“黑客馬拉松”逐漸成爲插件開發的主要形式：一羣高手雲集一堂，幾十個小時裏開發出一款插件，累了或坐或臥，現場休息，做完當場交作品，是“世界上最酷的開發者狂歡”。 黑客馬拉松是程序員
2020-06-22 08:28:10
原创 【解決方案】pyspark 繪圖報錯：_tkinter.TclError: no display name and no $DISPLAY environment variable
問題描述 matplotlib畫圖失敗（pyspark、pyspark3），報錯如下： no display name and no $DISPLAY environment variable Traceback (most re
2020-06-22 08:28:10
7
原创 SAS 數據分析實例之數據描述、預處理和抽樣
1 描述統計 1.1 描述表屬性 ods noproctitle; ods select attributes variables enginehost directory; proc datasets lib=SASHELP;
2020-06-10 19:39:10
12
原创 [學習筆記]《零基礎做出高逼格PPT》
課程介紹 電子化辦公學習的時代，做好PPT可以說是每位學生、職場人士完成工作、凸顯自我、升職加薪的必備技能。可以這麼說，如果你能做出一手有逼格、超專業的PPT，它就會像一面放大鏡一樣，最大化地凸顯你其他方面的能力、優點，從而爲你的
2020-06-10 19:39:10
1
原创 [解決辦法] Invalid PythonUDF (), requires attributes from more than one child.
[解決辦法] Invalid PythonUDF (), requires attributes from more than one child. 報題中的錯誤，解決辦法：在過濾過程前 加 df.cache() (這裏的 df
2020-06-10 19:39:10
5
原创 【解決方案】hive 構造給定大小的數組 array
需求 現有如下數據表 table_1 a b a1 3 a2 2 a3 1 想要得到的結果表爲 table_2 a b a1 3 a1 3 a1 3 a2 2 a2 2
2020-04-21 01:45:28
原创 【解決方案】ValueError: Some of types cannot be determined by the first 100 rows
問題 在 spark 中試圖將 RDD 轉換成 DataFrame 時，有時會提示 ValueError: Some of types cannot be determined by the first 100 rows, ple
2020-04-02 09:21:14
17
原创 Levenshtein距離及其python實現
概念 Levenshtein距離，又稱L氏編輯距離，是指兩個字串之間，由一個轉成另一個所需的最少編輯操作次數。原子編輯操作包括增、刪、改，即插入一個字符，刪除一個字符，將一個字符替換成另一個字符。一般來說，Levenshtein距
2020-02-21 07:03:56
原创 XGBoost模型文件轉化爲PMML
運用java包和指令行講XGBoost模型轉化爲PMML通用模型文件。 前期準備 下載jpmml-xgboost, https://github.com/jpmml/jpmml-xgboost/archive/master.zip ；安
2020-02-21 07:03:56
原创 Hive中時間函數彙總
Hive中時間函數彙總 編號 函數 功能 語法 返回值類型 舉例 備註 1 from_unixtime 將時間戳轉換爲時間格式 from_unixtime(bigint unixtime[, string forma
2020-02-21 07:03:56
原创 Python中if-else語句的多種寫法
a, b, c = 1, 2, 3 1. 常規 if a>b: c = a else: c = b 2. 表達式 c = a if a>b else b 3. 二維列表 c = [b,a][a>b] 4. (條件表
2020-02-21 07:03:56
原创 手機歸屬地及卡類型信息接口（python版）
前言 前段時間寫過獲取IP歸屬地的接口，今天分享獲取手機號歸屬地及其卡類型的接口。 解決問題 通過手機號碼，獲取手機號歸屬地及其卡類型 代碼 # !/usr/bin/env python # -*- coding:utf8
2020-02-21 07:03:56
1
原创 2016年終總結
2016年已經匆匆過去了一週了，前段時間由於各種忙碌，沒有時間好好總結一下過去的一年，只是在脈脈上簡單的總結了幾個核心的東西：父母安康，感情穩定，工作順利。概括爲一個字就是：幸。 父母安康 一年又一年的溜走，父母越加年邁了，父
2020-02-21 07:03:56
原创 Excel 突顯光標所在行列
Excel 突顯光標所在行列 步驟: 按下 alt + F11，跳出如下窗口。 雙擊需要的工作簿，跳出如下窗口。 輸入vba代碼 Private Sub Worksheet_SelectionChange(ByVal
2020-02-21 07:03:56
原创 hive的UDF 函數(User-Defined-Function)
閱讀提示: 可以使用目錄快捷定位所需要的知識點。 UDF函數可以直接應用於select語句，對查詢結構做格式化處理後，再輸出內容。 關係運算 等值比較: = 語法: A = B 操作類型: 所有基本類型 描述: 如果表達
2020-02-21 07:03:56
1