原创 HDFS基本原理及數據存取實戰
本文主要介紹了hdfs的基本原理、hdfs基本操作、hdfs的讀取數據流程、namenode工作機制，rpc編程以及常見的兩種必會的面試題等，旨在於全面深入的理解HDFS的基本工作流程並可以開發出簡易的HDFS的程序。一、HDFS簡介
2020-02-26 02:16:10
原创 Linux中命令選項及參數簡介
登錄Linux後，我們就可以在#或$符後面去輸入命令，有的時候命令後面還會跟着“選項”（英文options）或“參數”（英文arguments）。即Linux中命令格式爲： command [options] [arguments]
2020-02-26 02:16:10
15
原创 HBase-1.2.1和Phoenix-4.7.0分佈式安裝指南
目錄目錄 11. 前言 22. 概念 22.1. Region name 23. 約定 24. 相關端口 35. 下載HBase 36. 安裝步驟 36.1. 修改conf/regionservers 36.2. 修改conf/hbase
2020-02-26 02:16:10
原创 HBase行鍵設計原則
【原理】HBase是一個分佈式的、面向列的數據庫，它和一般關係型數據庫的最大區別是：HBase很適合於存儲非結構化的數據，還有就是它基於列的而不是基於行的模式。既然HBase是採用KeyValue的列存儲，那Rowkey就是KeyVa
2020-02-26 02:16:10
原创 ROW_NUMBER() OVER函數的基本用法
語法：ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN) 步驟1: 簡單的說row_number()從1開始，爲每一條分組記錄返回一個數字，這裏的ROW_NUMBER()
2019-06-15 00:32:57
原创 MySQL的binlog日誌詳解
binlog 基本認識 MySQL的二進制日誌可以說是MySQL最重要的日誌了，它記錄了所有的DDL和DML(除了數據查詢語句)語句，以事件形式記錄，還包含語句所執行的消耗的時間，MySQL的二進制日誌是事務安全型的。
2019-02-27 15:04:24
原创 hive常用函數之字符串處理函數
1. 字符串長度函數：length 語法: length(string A) 返回值: int 說明：返回字符串A的長度 舉例： hive> select length('abcedfg') from lxw_dual;
2019-02-23 15:06:07
原创 基於TableStore的數據採集分析系統介紹
摘要 在互聯網高度發達的今天，ipad、手機等智能終端設備隨處可見，運行在其中的APP、網站也非常多，如何採集終端數據進行分析，提升軟件的品質非常重要，例如PV/UV統計、用戶行爲數據統計與分析等。雖然場景簡單，但是數據量大，對系統的吞吐
2019-02-21 19:50:00
原创 百億級全網輿情分析系統存儲設計
前言 在時下互聯網信息的浪潮下，信息的傳播速度遠超我們的想象。微博裏一條大V的帖子，朋友圈的一個狀態更新，熱門論壇的一條新聞，購物平臺的購物評價，可能會產生數以萬計的轉發，關注，點贊。如果是一些非理性負面的評論會激發人們的負面感，甚至影響
2019-02-21 19:50:00
原创 使用Hive處理服務器導入到OSS的日誌數據
假設這樣一個場景，用戶有許多的機器（ECS或者自有機房的都可以），每天產生非常多的日誌，記錄了用戶的訪問的一些信息，比如userId，訪問的頁面地址，訪問的時間，訪問Ip等等。我們對這些數據進行一個離線分析，每天分析一次，計算網站的各個頁
2019-01-12 14:57:05
原创 sql50道題及答案詳解
創建表語句 create table Student(sid varchar(10),sname varchar(10),sage datetime,ssex nvarchar(10)); insert into Student va
2018-11-20 00:11:27
原创 教你如何使用強大的adb工具，解決你最頭疼的問題！
先介紹一下什麼是ADB：adb的全稱爲Android Debug Bridge，就是起到調試橋的作用。 藉助adb工具，我們可以管理設備或手機模擬器的狀態。還可以進行很多手機操作，如安裝軟件、系統升級、運行shell命令等等。其實簡而言說
2018-11-06 23:44:36
原创 sql常用語句整理(包括增刪改查)，適合小白使用
一、插入(複製)表數據1、INSERT INTO 語句(1)插入新的一行數據[sql] view plain copyINSERT INTO Persons VALUES ('Gates', 'Bill', 'Xuanwumen 10
2018-09-03 17:45:52
原创 Spark常用算子詳解
Spark的算子的分類 從大方向來說，Spark 算子大致可以分爲以下兩類: 1）Transformation 變換/轉換算子：這種變換並不觸發提交作業，完成作業中間過程處理。 Transformation 操作是
2018-09-03 17:45:42
原创 Sqoop-1.4.6安裝部署及詳細使用介紹
之所以選擇Sqoop1是因爲Sqoop2目前問題太多。無法正常使用，綜合比較後選擇Sqoop1。Sqoop1安裝配置比較簡單一、安裝部署（1）、下載地址：http://archive.cloudera.com/cdh5/cdh/5/s
2018-09-03 17:45:39