原创 Java操作Hbase
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.h
2020-07-07 14:03:40
3
原创 Scala操作Hbase
package com.sncfi.hbase import org.apache.hadoop.hbase.client.HBaseAdmin import org.apache.hadoop.hbase
2020-02-20 18:27:44
1
原创 Hbase基礎
一、Hbase概念 Hbase是一個高可靠、高性能、面向列、可伸縮的分佈式數據庫，利用hBase技術可以在廉價pc上搭建大規模結構化數據集羣。Hbase參考Google的BigTable建模，使用類似GFS的HDFS作爲底
2020-02-20 18:27:44
原创 Spark Streaming高級
一、緩存或持久化 和RDD相似，DStreams也允許開發者持久化流數據到內存中。在DStream上使用 persist() 方法可以自動地持久化DStream中的RDD到內存中。如果DStream中的數據需要計算多次，這是非常有
2020-02-20 18:27:44
原创 用spark-submit啓動Spark應用程序
bin/spark-submit腳本負責建立包含Spark以及其依賴的類路徑（classpath），它支持不同的集羣管理器以及Spark支持的加載模式。 /bin/spark-submit \ --cla
2020-02-20 18:27:44
原创 android佈局中模仿底部彈框顯示隱藏動畫
1.tranlate_dialog_out（顯示動畫） <set xmlns:android="http://schemas.android.com/apk/res/android"> <translate android
2020-02-20 18:27:44
原创 HBase Shell 常用命令及例子
一、一般操作 1.查詢服務器狀態 hbase(main):024:0>status 3 servers, 0 dead,1.0000 average load 2.查詢hbase版本 hbase(main
2020-02-20 18:27:44
原创 Spark RDD操作講解
一、spark rdd 介紹 1.rdd概念 rdd是彈性分佈式數據集，存儲在硬盤或者內存上。 2.rdd特徵 1）有一個分片列表，就是能被切分，和Hadoop一樣，能夠切分的數據才能夠並行計算 2）由
2020-02-20 18:27:44
原创 flume安裝部署
1.解壓 tar -zxvf flume-ng-1.5.0-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/ 2.修改配置文件 mv flume-env.sh.template flume-env.sh ex
2020-02-20 18:27:43
原创 Spark Streaming基本概念
一、關聯 與Spark類似，Spark Streaming也可以利用maven倉庫。編寫你自己的Spark Streaming程序，你需要引入下面的依賴到你的SBT或者Maven項目中 <dependency>
2020-02-20 18:27:43
原创 Hbase2.0.2之scala API
import java.util import java.util.{ArrayList, HashMap, List, Map} import org.apache.hadoop.hbase.{Cell, CompareOperat
2018-12-11 02:32:27
原创 Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535
hive創建數據庫成功，但是創建表的時候報錯 創建數據庫： hive (default)> create database if not exists test; OK Time taken: 0.45 seconds 創建表：
2018-12-08 03:29:06
4
原创 Centos7+Hadoop2.7.7+Hive2.3.0+Hbase2.0.2+spark2.4+zookeeper3.4.10搭建分佈式大數據集羣
虛擬機準備3臺，分別是hadoop01 hadoop02 hadoop03，所裝系統爲centos7 1.修改主機名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoo
2018-12-08 03:29:06
7
原创 Hbase2.0.2之JavaAPI
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.had
2018-12-08 03:29:06
原创 java.lang.ClassNotFoundException: org.jetbrains.sbt.CreateTasks$
用idea創建sbt+scala的項目時，有時候會報錯 [error] java.lang.ClassNotFoundException: org.jetbrains.sbt.CreateTasks$ [error] at java
2018-12-08 03:29:06
2