原创 c:forEach varStatus="status"中 varStatus的屬性簡介

<c:forEach varStatus="status">中 varStatus的屬性簡介   varStatus是<c:forEach>jstl循環標籤的一個屬性,varStatus屬性。就拿varStatus=“status”

原创 hive--truncate刪除表中的數據

delect:用於刪除特定行條件,你可以從給定表中刪除所有的行 TRUNCATE:truncate用於刪除所有的行,這個行爲在hive元存儲刪除數據是不可逆的 DROP:刪除hive中的表   truncate 不能刪除外部表!因爲外部表

原创 hadoop寫文件過程

##寫文件 注:爲編輯方便以下NameNode和SecondaryNode用NN和SN表示 客戶端上傳文件是,NN首先往edits.log文件中記錄源數據操作日誌。 客戶端開始上傳文件完成後返回成功信息給NN,NN就在內存中寫入

原创 spark Streaming +kafka 的offset數據保存MySQL、hbase、redis

Kafka做爲一款流行的分佈式發佈訂閱消息系統,以高吞吐、低延時、高可靠的特點著稱,已經成爲Spark Streaming常用的流數據來源。 其實說白了,官方提供的思路就是,把JavaInputDStream轉換爲OffsetRange對

原创 phoenix建表映射有命名空間的hbase表

1.先開啓schema與namespace的對應關係 在phoenix中與hbase的命名空間相對應的是schema概念,默認是沒有開啓的,需要在hbase的hbase-site.xml中增加以下配置項 <property>   <na

原创 關於在elasticSearch中使用聚合查詢後只顯示10個bucket的問題

先看下面es查詢語句 { "size": 0, "aggs" : { "all_articleId" : { "terms" : { "field

原创 <c:forEach varStatus="status">中 varStatus的屬性簡介

<c:forEach varStatus="status">中 varStatus的屬性簡介 varStatus是<c:forEach>jstl循環標籤的一個屬性,varStatus屬性。就拿varStatus=“status”來

原创 MYSQL解決select ... into outfile '..' mysql寫文件權限問題

select FQQ,FScoreCount from Tbl_User into outfile "/tmp/terminatedtest.txt" fields terminated by ","; select * from

原创 hive--刪除表中的數據truncate

delect:用於刪除特定行條件,你可以從給定表中刪除所有的行 TRUNCATE:truncate用於刪除所有的行,這個行爲在hive元存儲刪除數據是不可逆的 DROP:刪除hive中的表 truncate 不能刪除外部表!因

原创 hbase表結構

原创 文章標題

寫文件 注:爲編輯方便以下NameNode和SecondaryNode用NN和SN表示 客戶端上傳文件是,NN首先往edits.log文件中記錄源數據操作日誌。 客戶端開始上傳文件完成後返回成功信息給NN,NN就在內存中寫入這次上傳操作

原创 kafka以及storm-kafka整合

kafka筆記  1/kafka是一個分佈式的消息緩存系統 2/kafka集羣中的服務器都叫做broker 3/kafka有兩類客戶端,一類叫producer(消息生產者),一類叫做consumer(消息消費者),客戶端和broker服務

原创 hbase shell示例

進入hbase命令行 ./hbase shell 顯示hbase中的表 list 創建user表,包含info、data兩個列族 create 'user', 'info1', 'data1' creat

原创 storm安裝(三臺)

1、安裝一個zookeeper集羣 2、上傳storm的安裝包,解壓 3、修改配置文件storm.yaml #所使用的zookeeper集羣主機 storm.zookeeper.servers:    

原创 hive啓動失敗的小問題總結以及hive

如果出現Hive installation issues: Hive metastore database is not initialized 之後你可以運行下面這句話 schematool -dbType mysql -init