原创 Spark Pipe使用方法（外部程序調用方法）
寫在前面： 1、我們使用的是Hadoop2.2.0，Spark 1.0。 2、這裏使用的樣例是經典的求pai程序來演示這個開發過程。 3、我們暫時使用java程序來開發，按照需要後面改用scala來開發。 4、我們使用的IDE是
2020-06-21 19:54:08
原创 科目三考試掛掉原因分析
1. 燈光考試要注意，下沙和轉塘不一樣，但第一步一定是開燈，遠光，近光，燈光考試完畢後，要直接打轉向燈，再鬆手剎、掛檔，起步。打轉向燈後，一定要3秒後在轉動方向。 2. 注意不要熄火： 在起步的時候要踩好離合待剎車，慢慢松離合，車子稍抖，
2020-06-21 19:53:56
原创 基於Nginx反向代理的SparkUI的訪問
基於Nginx反向代理的SparkUI的訪問 場景和方案 spark集羣部署的情況下，只有Master有公網IP，Worker機器沒有公網IP，此時要如果要訪問Run在Master機器上的SparkUI，並且需要查看Worker機
2020-06-21 19:53:56
原创 Linux 指令：系統設置--export
功能說明：設置或顯示環境變量。 語 法：export [-fnp][變量名稱]=[變量設置值]補充說明：在shell中執行程序時，shell會提供一組環境變量。export可新增，修改或刪除環境變量，供後續執行的程序使用。export
2020-02-21 14:15:02
原创 Spring MVC
現在主流的Web MVC框架除了Struts這個主力 外，其次就是Spring MVC了，因此這也是作爲一名程序員需要掌握的主流框架，框架選擇多了，應對多變的需求和業務時，可實行的方案自然就多了。不過要想靈活運用Spring MVC來
2020-02-21 14:15:02
原创 Spark Standalone 以及 HDFS系統環境搭建
Hdfs環境搭建 下載最新版本的Hadoop編譯好的tar包：http://hadoop.apache.org/releases.html確認HDFS namenode和datanode的角色，並將namenode以及datanode的i
2020-02-21 14:15:01
原创 Pssh的使用
== 簡介 ==pssh是一個python編寫可以在多臺服務器上執行命令的工具，同時支持拷貝文件，是同類工具中很出色的，類似pdsh，個人認爲相對pdsh更爲簡便，使用必須在各個服務器上配置好密鑰認證訪問。項目地址：https://cod
2020-02-21 14:15:01
原创 深刻理解Linux進程間通信（IPC）
序 linux下的進程通信手段基本上是從Unix平臺上的進程通信手段繼承而來的。而對Unix發展做出重大貢獻的兩大主力AT&T的貝爾實驗室及BSD（加州大學伯克利分校的伯克利軟件發佈中心）在進程間通信方面的側重點有所不同。前者對Uni
2020-02-21 14:15:01
原创 分佈式設計與開發 memcached分佈式
memcached是應用最廣的開源cache產品，它本身不提供分佈式的解決方案，我猜想一方面它想盡量保持產品簡單高效，另一方面cache的key-value的特性使得讓memcached分佈式起來比較簡單。memcached的分佈式主要
2020-02-21 14:15:01
原创 Python字符串和字典相關操作
字符串操作： 字符串的 % 格式化操作： str = "Hello,%s.%s enough for ya ?" values = ('world','hot') print str % values 輸出結果： Hello,
2020-02-21 14:15:01
原创 maven 常用插件
1 maven-compiler-plugin [html] view plaincopyprint? <plugin> <artifactId>maven-compiler-plugin</a
2020-02-21 14:15:01
原创 技術峯會官網
ArchSummit 架構師峯會：http://www.archsummit.com/ velocity 技術峯會：http://velocity.oreilly.com.cn/2014/ ArchSummit 架構師峯會：
2020-02-21 14:15:01
原创 Python環境變量的引入
python引入類庫： （1）需要先把類目加入到python的環境變量當中 例如：sys.path.insert(0,sdk_path)。 （2）然後在import要添加的類目，一定要先添加路徑，在import 變量，否則import命令
2020-02-21 14:15:01
原创 SSH隧道
如果需要訪問某臺機器沒有對外開放的端口，可以通過端口轉發的方式訪問，具體配置步驟如下： 以本地端口轉發到遠程端口的安全的方式訪問。具體的創建步驟如下： SSH客戶端配置：如 PuTTY（windows）或OpenSSH（linux、M
2020-02-21 14:15:00