原创 在Django 模板中使用session
需求 最初的解決方法 原因 解決方法 嘗試的其他解決方法 幾經周折終於找到了在Django 模板中使用session的方法。 需求 實現權限管理：登錄網站後，需要在頁面上顯示用戶名，以及根據用戶的角色（也存在於session中）
2018-09-04 04:46:35
原创 Spark平臺上的JavaWordCount示例
WorldCount目錄結構如下： [root@master WordCount]# find . . ./src ./src/main ./src/main/java ./src/main/java/JavaWordCount.java
2018-09-04 04:46:35
3
原创 Java 調用 matlab 程序
需求 有matlab代碼寫好的程序，需要在java中調用，有兩個選擇： 1. 用java實現相同功能的程序 2. 使用java調用matlab程序 果斷選擇第二種，這就需要將matlab程序打包成jar包，然後供java程序調用。記
2018-09-04 04:46:35
原创 lambda演算
由簡入深，適時複習，溫故知新。 — housir λ演算基於最簡單的定義函數的思想： 一爲函數抽象λx.E，由λ說明的x在函數體E中出現均爲形參變元。E是一個λ表達式。 一爲函數應用(λx.E)
2018-09-04 04:46:34
4
原创 羣體智能利用：驗證碼識別
今天聽師兄說了在日本聽到的一件事，真正把驗證碼識別利用起來了。 策略是這樣的，在用戶提交表單（登錄，註冊等）時，會同時出現兩個驗證碼，用戶需要識別並輸入這兩個驗證碼。後臺只知道其中一個驗證碼的答案，另一個不知道；同時，用戶也不知道後臺知
2018-09-04 04:46:34
原创 每次進步一點點——linux expect 使用
1. 介紹 expect是建立在tcl（參見：Tcl/Tk快速入門 ）基礎上的一個工具，它可以讓一些需要交互的任務自動化地完成。相當於模擬了用戶和命令行的交互操作。 一個具體的場景：遠程登陸服務器，並執行命令 登錄時輸入密碼需要交互，
2018-09-04 04:46:33
原创 Hadoop/Spark平臺搭建
add user useradd ITS-Hadoop passwd ITS-Hadoop ssh 無密碼訪問 ssh-keygen -t rsa -P '' cat ~/.ssh/id_rsa.pub >> ~/.ssh/author
2018-09-04 04:46:32
原创 每次進步一點點——Spark 中的寬依賴和窄依賴
Spark中RDD的高效與DAG圖有着莫大的關係，在DAG調度中需要對計算過程劃分stage，而劃分依據就是RDD之間的依賴關係。針對不同的轉換函數，RDD之間的依賴關係分類窄依賴（narrow dependency）和寬依賴（wide
2018-09-04 04:46:32