原创 hive零散
cloudera自帶的spark可用後，安裝hive嘗試跑shark。 hive是將SQL轉換成MR作業運行的工具。 hive的三種模式： 內嵌模式：將元數據保存在本地內嵌的Derby數據庫中，這得使用Hive最簡單的方式，不過使用內嵌模
2020-06-12 21:03:04
原创 ssh無密碼登陸配置以及yum安裝之前遇到的問題解決
（一） 首先請確保防火牆都處於關閉狀態，具體命令是ufs disable。並確保安裝ssh spenssh-server。 在主機sophia中執行以下命令： cd ~/.ssh (進入用戶目錄下的隱藏文件.ssh)ssh-key
2020-06-12 21:03:04
原创 shark0.8.1安裝部署
作爲Hadoop生態系統一部分的Hive，使得用戶可以編寫類sql(HQL)語句後再由Hive進行轉化成不同的map-reduce任務交給hadoop來執行。Spark是一個分佈式的內存計算系統，主要充當分佈式
2020-02-20 14:36:06
原创 Spark on yarn測試存檔
從spark-class腳本結合後期日誌可以看到，spark啓動首先讀取來自spark-env.sh的環境變量，首先加載spark_mem等變量，然後查找jar包以及讀取類路徑。採用yarn-client模式，則將
2020-02-20 14:36:06
原创 shark部署筆記
參照CDH5官方文檔 hive mysql 授權訪問賬號 <!-- metastore config end --> 配置hive-site.xml支持lock manager(這個是需要藉助zookeeper集羣) <property>
2020-02-20 14:36:06
原创 ZK開發要害知識點
http://www.myexception.cn/web/1403102.html感謝原創 ZK開發關鍵知識點 前言 本文是對ZK開發過程中必須掌握的關鍵知識點的總結，針對目前對新版本zk-6.5.2 關於ZK是什麼參見前
2018-08-24 14:19:48
262
原创 轉載hibernate總結
一、Hibernate概述 1.概述 （1）JDBC優缺點 * 優點：直接底層操作，提供了很簡單、便捷的訪問數據庫的方法，跨平臺性比較強.靈活性比較強，可以寫很複雜的SQL語句.
2018-08-24 14:19:47
2
原创 spring總結
一、概述 1. Spring是一個開源框架，其目的是爲了解決企業應用開發的複雜性. 2. Spring功能：使用基本的JavaBean代替EJB，並提供更多的企業應用功能. 3. 簡單說，Spring是一個輕
2018-08-24 14:19:47
1
原创 泛型中的extend以及super
泛型是在Java 1.5中被加入了，這裏不討論泛型的細節問題，這個在Thinking in Java第四版中講的非常清楚，這裏要講的是super和extends關鍵字，以及在使用這兩個關鍵字的時候爲什麼會不同的限制。 首先，我們定
2018-08-24 14:19:47
2
原创 雜記：hive報錯以及spark中hive應用
轉載內容，謝謝原創。雜記。 (1) Yarn Cluster: Spark Driver程序將作爲一個ApplicationMaster在YARN集羣中先啓動，然後再由ApplicationMaster向RM申請資源啓動 executo
2018-08-24 14:19:47
4
原创 mvc模式優缺點
優點： 1、開發人員可以只關注整個結構中的其中某一層； 2、可以很容易的用新的實現來替換原有層次的實現； 3、可以降低層與層之間的依賴； 4、有利於標準化； 5、利於各層邏輯的複用。 概括來說，分層式設計可以達至如下目的：分散關注、
2018-08-24 14:19:47
原创 zk的checkbox
<div sclass="ine_div rdg"> <label sclass="itm_lab" value=" 權限 :" /> <checkbox id="l1" label="讀" checked="@bind(vm.
2018-08-24 14:19:47
2
原创 tachyon方面轉載
參考文章，感謝作者共享 http://www.cnblogs.com/byrhuangqiang/p/3940017.html http://blog.itpub.net/22268043/viewspace-1114449/ http:
2018-08-24 14:19:42
原创 MyEclipse中ZK項目運行時候tomcat的報錯
解決辦法： 1、首先關閉MyEclipse工作空間。 2、然後刪除工作空間下的 “/.metadata/.plugins/org.eclipse.core.runtime/.settings/com.genuitec.ec
2018-08-24 14:19:42
原创 如何提高java技能
如何提高自己的 Java 編程技能 (2007-01-18 18:00:18) 轉載▼ 分類： Java Technology 可以按照兩條路線提高自己的技能：參加一個課程（爲了認證或者只是爲了學習）或自學（當然
2018-08-24 14:19:42