原创 對自己狠一點，開始寫作，以及如何開始寫作
早上來到公司看了碼農翻身公衆號，有關於寫作的，發現有寫年頭已經沒有系統化的對知識進行梳理並記錄了，所以仔細閱讀了老劉的兩篇文章，把一些學習點記錄下來，以備徐徐圖之。 時常會有這樣的感覺，自己心裏覺得對一個技
2019-03-13 04:11:22
原创 Hadoop IK分詞 詞頻統計
本文實驗使用的是IK Analyzer作爲分詞器, Hadoop2.4作爲計算框架的測試DEMO. 第一步: 搭建Ecelipse, 使用MAVEN構建. pom.xml <project xmlns="http://mave
2018-09-03 22:38:06
3
原创 解決UnicodeEncodeError: 'ascii' codec can't encode characters in position問題
異常: UnicodeEncodeError: 'ascii' codec can't encode characters in position 32-34: ordinal not in range(128) 解決方法: 在開
2018-09-03 22:38:06
原创 HBase/Hadoop 安裝之前需要注意的配置問題
資源限制命令 : ulimit 和 noproc HBase 和其他的數據庫軟件一樣會同時打開很多個文件. Linux默認的ulimit值是1024, 這對HBase來說太小了. 當使用諸如bulkload這種工具批量導
2018-09-03 22:38:05
原创 hadoop MMSEG4 分詞實例
pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:
2018-09-03 22:37:50
4
原创 ali Interview guide
https://yq.aliyun.com/articles/28400 https://yq.aliyun.com/articles/67000
2018-09-03 22:37:46
原创 zookeeper ---- Curator 高級應用
監聽器 ZooKeeper原生的API支持通過註冊Watcher來進行事件監聽，但是Watcher通知是一次性的，因此開發過程中需要反覆註冊Watcher，比較繁瑣。Curator引入了Cache來監聽ZooKeeper服
2018-09-03 22:37:45
原创 Zookeeper ---- Curator 框架應用
CuratorFramework Curator框架提供了一套高級的API， 簡化了ZooKeeper的操作。 它增加了很多使用ZooKeeper開發的特性，可以處理ZooKeeper集羣複雜的連接管理和重試機制。 這些特性包
2018-09-03 22:37:44
原创 Anaconda使用總結
序 Python易用，但用好卻不易，其中比較頭疼的就是包管理和Python不同版本的問題，特別是當你使用Windows的時候。爲了解決這些問題，有不少發行版的Python，比如WinPython、Anaconda等，這些發行版將pytho
2018-09-03 22:37:39
原创 IDEA Spark 程序報錯: NoClassDefFound : Scala/xml/metadata
錯誤現象: 解決: SparkUI seems to use a scala package, try adding this dsependency to your pom file to put the scala.xml pa
2018-09-03 22:37:39
原创 Kafka-0.10.1.0 簡單安裝部署
1. 下載 地址: http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz 2. 解壓,配置環境變量,配置server.prop
2018-09-03 22:37:39
原创 Spark 異常集錦
1. Spark 2. Spark Streaming 2.1 No output streams registered, so nothing to execute 異常原因: 沒有觸發 DStream需要的 action 解決方法:
2018-09-03 22:37:39