原创 Hive 實現將時間（時間戳）歸到某時間片
在進行數據處理或者建模的時候我們常常需要將某一時間段內的時間統一歸於到某一時刻，來表徵他們同屬於這一時間段。比如2017-12-19 13:23:30，我們按照10min作爲一個時間段向前劃分，這個時間會被劃分到2017-12-1
2020-06-22 09:06:39
原创 Linux下爲sudo命令定義PATH環境變量
Linux下爲sudo命令定義PATH環境變量 有時候安裝了一個程序到/usr/local/bin目錄下，這個程序需要root權限執行。但是用sudo去執行的時候，又收到”sudo: XXXXX: command not foun
2020-06-22 08:52:39
原创 Jupyter Notebook遠程登錄及自定義配置
本文最後修改於2018-01-22，文章有問題或者轉載請及時聯繫本人，如果對你有幫助，別忘了點下關注和喜歡，感謝！ 0 背景 anaconda的Jupyter Notebook使用越來越普遍，但是默認形式的配置（默認目錄，是否自動打開瀏
2020-06-22 08:52:34
原创 緩解pandas中DataFrame佔用內存過大的問題
本文最後修改於2018-01-21，文章有問題或者轉載請及時聯繫本人，如果對你有幫助，別忘了點下關注~ 0 背景 在我們使用pandas進行數據處理的時候，有時候發現文件在本地明明不大，但是用pandas以DataFrame形式加載內存中
2020-06-22 08:52:33
原创 Hive中行拆分操作
0.背景 在使用Hive的時候有時候會遇到需要將一行“拆分”成多行的操作，如下。 原始數據格式，表名爲student_table class student_array 1 [Tom,Jone] 2
2020-06-22 08:52:33
原创 Mac下查看已安裝的JDK版本及目錄
首先打開終端，輸入/usr/libexec/java_home -V即可。 圖中上邊爲Mac上所有已安裝的JDK目錄，下邊爲當前默認使用的JDK目錄。
2020-06-22 08:52:32
原创 Vundle配置文件解析與使用指南
0.簡介 Vundle是Vim Bundle的縮寫，是一個Vim插件管理工具。 Vundle allows you to… keep track of and configure your plugins right in th
2020-06-22 08:52:32
1
原创 mac上XGBoost多線程版本安裝[mac][high sierra]
本文最後更新於2017/12/28，看起來很多，實際安裝命令很少，多數內容在總結安裝過程中可能出現的問題。 各版本情況： mac：10.13.2 XGBoost：0.6 gcc：7.2 關於xgboost的安裝我們可以參考官方文檔
2020-06-22 08:52:32
原创 Mac上gdb啓用pretty printers（STL格式美化）
0.背景 gdb原生態對於STL的輸出不太直觀，爲了可以直觀的查看STL的值，我們進行相關的配置。 1.方式概覽 要實現這種需要有多種方式，https://sourceware.org/gdb/wiki/STLSupport 這裏
2020-06-22 08:52:32
原创 Pandas中使用loc將列表等集合賦值給行或列的每一個元素
0.背景 在使用Pandas進行數據處理過程當中，有時候需要將數據的某一列都賦值爲某一個列表的形式。但是如果列的元素個數與列表的元素個數相同時賦值，會導致列表中的每一個元素對應到了列的一個表格中（詳情見下）。本文即解決這樣的問題。
2020-06-22 08:52:32
原创 Jupyter配置及遠程登錄
Jupyter配置及遠程登錄 Anaconda的Jupyter使用越來越普遍，但是默認目錄等都並不是大家希望的，本節介紹Jupyter的自定義配置以及如何遠程登錄jupyter notebook。 1 Jupyter自定義配置 J
2020-06-22 08:52:32
原创 更改Anaconda下載源
更改Anaconda下載源 使用默認的下載源速度較慢，可以使用清華大學的源，在Anaconda Prompt中輸入以下命令添加源： conda config --add channels 'https://mirrors.tuna
2020-06-22 08:52:31
原创 在Ubuntu中允許root遠程訪問
在Ubuntu中允許root遠程訪問 如果使用如xshell等遠程工具首次通過root連接Ubuntu會提示拒絕訪問，並不是密碼不正確，而是Ubuntu默認禁止以root遠程連接。 我們可以進行適當的配置來使root遠程連接可用
2020-06-22 08:52:30
原创 Ubuntu下設置tomcat爲服務（開機啓動）
Ubuntu下設置tomcat爲服務（開機啓動） 環境：Ubuntu14.04 tomcat版本：apache-tomcat-8.5.15（來源官方網站） 1 將tomcat下bin文件夾的catalina.sh文件拷貝到/e
2020-06-22 08:52:30
原创 Mac上無法ssh localhost
0.背景 在Hadoop的僞分佈式等場景中，我們需要主機可以ssh到自身啓動守護進程，所以需要無密碼登錄localhost。 1.正常的流程 在其他Unix-like的系統中，我們使用一下方式即可。 ssh-keygen -t -
2020-06-22 08:52:30