原创 linux讀文件列表和java讀文件列表
linux 1、判斷一個文件或文件夾 if test -f filename ;then echo "true";else echo "false"; fi 如果filename是個文件打印true，否則打印false
2018-09-06 18:35:55
原创 SparkSQL入門
解析github上spark的例子 在spark的早期版本中，SparkContext是spark的主要切入點，由於RDD是主要的API，我們通過sparkcontext來創建和操作RDD。對於sql，使用sqlContext。但是隨着D
2018-09-06 18:35:55
原创 python大整數被表示成科學計數法
需求：從庫裏可以得到一個24個字符組成的字符串， 如“／／／／／／／／／／／／／／／／／／／／／／／／”，“／／／／／／／／／／／／／／／／／／／／／／23”，“234567888888888888888888”，但是如果是全數字會變成
2018-09-05 05:10:47
原创 ArrayList的深拷貝和淺拷貝問題
需求：leetcode的八皇后問題（編號：51）的解決過程中，需要用 List<List<String>> result = new ArrayList<>();來存儲結果 對應的我使用 List<List<Integer>> mar
2018-09-05 05:10:47
原创 vi複製導致格式問題
需求： 前幾天git莫名抽風，導致不能push新的文件到服務器測試，直接複製黏貼將導致格式錯誤，所以如何將本地的程序黏貼到服務器上？ 解決： 進入vi一般模式，輸入:set paste，進入黏貼模式，點擊i，進入黏貼輸入模式，此時黏貼文本
2018-09-05 05:10:47
原创 大數據處理流程
Q： 大數據處理的流程是什麼，需要對應掌握哪些技能？ A： 1、數據採集 flume：數據採集與聚合 2、數據清洗 對髒數據進行清洗 spark、Hive、MR、或其他 清洗之後可以存放到HDFS（Hive
2018-09-05 05:10:47
原创 python如何判斷給定的日期是周幾？
需求： 已知一個申請時間，要求獲得對應屬於周幾 解決： apply_time = datetime.datetime.utcfromtimestamp(apply_time) time_str = apply_time.strftime
2018-09-05 05:10:46
原创 spark、hive、MR數據清洗的區別
Q： 如題三者都可以進行數據清洗，區別是什麼？各自使用場景是什麼？ A： Spark處理任務比MR快，但是對內存消耗是很大的。 多數場景優先考慮hive進行數據清洗，少部分會單獨編寫MR或者Spark程序進行復雜處理。 Spark自然適合
2018-09-05 05:10:46
原创 centos更新yum源
https://jingyan.baidu.com/article/ed2a5d1f5a9fbe09f6be17ea.html 參考上述百度經驗，關鍵，所有的下載鏈接都要更新爲對應的新yum源
2018-08-22 00:52:54
1
原创 時鐘向量簡介
時鐘向量簡介 本文以論文“FastTrack”中的一張圖片爲材料，分析時鐘向量的使用方法。論文如下： https://users.soe.ucsc.edu/~cormac/papers/pldi09.pdf 圖片如下： C0表示
2018-08-22 00:52:54
3
原创 將centos作爲遠程服務器，連接並上傳文件
1.首先服務器需要關閉防火牆 關閉命令： service iptables stop 永久關閉防火牆：chkconfig iptables off 兩個命令同時運行，運行完成後查看防火牆關閉狀態
2018-08-22 00:52:54
3
原创 戴爾precision5520重裝ubuntu系統
最近，老闆給買了一臺戴爾個人站，要求裝一個ubuntu環境跑程序。一開始打算裝雙系統，未遂，退而求其次只裝ubuntu。 中間碰到無數問題，在售後小姐姐的幫助下，最終解決問題，經驗如下。 備註：之前在嘗試裝雙系統的時候曾經將硬盤
2018-08-22 00:52:54
原创 centos6.5上網2 鏈接無線網
上一篇文章，通過mac地址欺騙，連入了有線網，這篇文章在上邊的基礎上連接電腦的隨身wifi 1、因爲已經連上有線網，可以利用yum install -y wireless-tools安裝wireless-tools，使iwconfig可用
2018-08-22 00:52:54
原创 Android Studio 真正國內SDK在線更新說明
親測---有效，比起設置代理麻煩一點點。。。 但真的很爽！ MAC XP Ubuntu 下同樣有效 原文地址：http://jingyan.baidu.com/article/adc815137a9cfff723bf7
2018-08-22 00:52:54
3
原创 導入maven項目
1。添加import project使用IDEA準備導入項目時發現沒有Import Project選項。。。解決辦法：Settings > Appearance & Bechavior > Menus and Toolbars.打開Mai
2018-08-22 00:52:54