原创 spark在hadoop2.2.0 HA配置下的問題
scala> val rdd1 = sc.textFile("hdfs://mycluster/spark/spark02/directory/")
2020-07-06 05:51:31
原创 spark中讀取hdfs中文件出錯
scala> val rdd1 = sc.textFile("hdfs://master:9001/spark/spark02/directory/") 14/07/19 17:09:36 INFO MemoryStore: ensure
2020-07-06 05:51:31
原创 AXIS的Web Service
http://www.cnblogs.com/mingzi/archive/2009/03/09/1406839.html http://www.douban.com/note/225930273/
2020-06-04 13:06:05
原创 ztree出現$.fn.zTree is undefined錯誤的解決辦法。
問題描述，在一個界面使用ztree創建樹，提示TypeError: $.fn.zTree is undefined，這裏我是在父頁面引用的jquery相關js文件，通過include包含了一個子頁面，子頁面同時引用了jquery和ztre
2020-02-20 22:16:08
原创 hadoop2.2.0 HA啓動時出現了兩個standy的Namenode，沒有出現active的Namenode
2014-07-20 15:21:16,913 ERROR org.apache.hadoop.security.UserGroupInformat
2020-02-20 22:16:08
原创 hadoop2.2.0 HA中active的namenode死掉了
2014-07-19 21:55:49,823 WARN org.apache.hadoop.hdfs.qjournal.client.Quorum
2020-02-20 22:16:07
原创 java中的String
public static void main(String[] args) { String a1=new String("aaa");
2020-02-20 22:16:06
原创 spark和hadoop的比較
Spark與Hadoop的對比 Spark的中間數據放到內存中，對於迭代運算效率更高。Spark更適合於迭代運算比較多的ML和DM運算。因爲在Spark裏面，有RDD的抽象概念。Spark比Hadoop更通用。Spark提供的數據集操作類
2020-02-20 22:16:06
原创 sqoop報錯。
使用的sqoop是1.4.4.mysql是5.6.hadoop是2.2.0 [hadoop2@slave02 sqoop-1.4.4]$ ./bin/sqoop import --connect jdbc:mysql://localh
2020-02-20 22:16:06
原创 sqoop1.4.4導出mysql數據到hadoop1.2.1集羣出現的問題
改爲hadoop1.2.1的集羣后。還是提示拒絕連接的錯誤，但是我發現錯誤提示裏說需要HADOOP_HOME。所以我export了HADOOP_HOME。然後再次運行報了下面的錯誤。 hadoop1@slave02 sqoop-1.4.4
2020-02-20 22:16:06
原创 spark結合Hadoop2.2.0 HA使用中遇到的問題
scala> rdd1.toDebugString 14/07/20 09:42:05 INFO Client: Retrying connect
2020-02-20 22:16:05
原创 spark集羣其中一個節點沒有啓動成功
Spark Command: /usr/java/jdk1.7/bin/java -cp ::/home/hadoop2/spark/spark-1
2020-02-20 22:16:05
原创 hadoop2.2.0中遇到的錯誤
2014-07-19 12:37:36,071 INFO org.apache.hadoop.hdfs.server.datanode.DataNo
2020-02-20 22:16:05
原创 sqoop找不到mysql驅動
[hadoop2@slave02 ~]$ sqoop import --connect jdbc:mysql://slave02/hadoopgui
2020-02-20 22:16:05