原创 Mongodb集羣搭建的三種方式

點擊打開鏈接   MongoDB是時下流行的NoSql數據庫,它的存儲方式是文檔式存儲,並不是Key-Value形式。關於Mongodb的特點,這裏就不多介紹了,大家可以去看看官方說明:http://docs.mongodb.org/

原创 最長迴文子序列(LPS)

問題描述 迴文序列(Palindromic sequence, Palindrome)是指正向遍歷和反向遍歷完全相同的序列,例如字符串“AAAAA”顯然是一個迴文序列,又如字符串“ABC@CBA”也是一個迴文序列。現在,我們要在一個(

原创 Spark 連接Hive分佈式環境搭建

創建用戶   adduser username  chmod u+w /etc/sudoers  vim /etc/sudoers  chmod u-w /etc/sudoers 源碼編譯mysql 5.5 (安裝多個版本的MySQL)

原创 Ubuntu下查看CPU、內存和硬盤詳細信息的幾個命令

轉載自:【http://www.sijitao.NET/1749.html】 CPU: 型號:grep "model name" /proc/cpuinfo |awk -F ':' '{print $NF}' 數量:lscpu |g

原创 Spark算子:RDD行動Action操作(4)–countByKey、foreach、foreachPartition、sortBy

點擊打開鏈接 countByKey def countByKey(): Map[K, Long] countByKey用於統計RDD[K,V]中每個K的數量。 [plain] view plain copy  print

原创 linux 查看系統信息命令

原文鏈接 Linux 查看系統信息命令是linux初學者必備的基礎知識, 這些命令也非常有用, 因爲進入linux第一件事就可能是首先查看系統信息, 因此必要的系統的學習一下這些linux系統信息命令還是非常有必要的! 下面給除了各l

原创 Hive on Spark 與Spark SQL比較

Hive on Spark 與Spark SQL比較 背景 Hive on Spark是由Cloudera發起,由Intel、MapR等公司共同參與的開源項目,其目的是把Spark作爲Hive的一個計算引擎,將Hive的查詢作爲Spark

原创 淺談UML的概念和模型之UML九種圖

原文鏈接  目錄:  UML的視圖 UML的九種圖 UML中類間的關係             上文我們介紹了,UML的視圖,在每一種視圖中都包含一個或多種圖。本文我們重點講解UML每種圖的細節問題:           1、用例

原创 shell命令執行hive腳本(hive交互,hive的shell編程)

原文鏈接 Hive執行方式 Hive的hql命令執行方式有三種: 1、CLI 方式直接執行 2、作爲字符串通過shell調用hive –e執行(-S開啓靜默,去掉”OK”,”Time taken”) 3、作爲獨立文件,通過shel

原创 Hive--HiveQL與SQL區別

鏈接 1.hive內聯支持什麼格式?2.分號字符注意什麼問題?3.hive中empty是否爲null? 4.hive是否支持插入現有表或則分區中? 5.hive是否支持INSERT INTO 表 values()? 1、Hive不支持等值

原创 Hive

HiveHive 中包含以下數據模型:表(Table),外部表(External Table),分區(Partition),桶(Bucket)。 每一個 Table 在 Hive 中都有一個相應的目錄存儲數據。例如,一個表 pvs,它

原创 SparkSQL與Hive on Spark的比較

原文鏈接 簡要介紹了SparkSQL與Hive on Spark的區別與聯繫 一、關於Spark 簡介 在Hadoop的整個生態系統中,Spark和MapReduce在同一個層級,即主要解決分佈式計算框架的問題。 架構

原创 How big is your MongoDB?

原文鏈接 How big is your MongoDB? by chris on 2014/01/23 in MONGODB Update 11/10/14: The next blog post in this ser

原创 YCSB官方文檔-核心屬性

原文鏈接 1. 核心YCSB屬性 所有工作量文件可以指定以下屬性: workload:要使用的工作量類(例如com.yahoo.ycsb.workloads.CoreWorkload)db:要使用的數據庫類。可選地,這在命令行可以指定

原创 MongoDB基本使用

MongoDB自帶JavaScript shell MongoDB shell 命令db查看當前指向哪個數據庫 創建 db.col.insert(post) 讀取db.col.find() db.col.findOne() 更新pos