原创 hive 1.1.0搭建
系統：centOS6.5 x86_64hive版本：apache-hive-1.1.0-cdh5.7.0JDK版本：1.71、下載cdh版本的hivehttp://archive.cloudera.com/cdh5/cdh/5/2、解壓、
2020-02-21 19:13:35
原创 Unix/linux 進程間通訊 - 共享內存
Unix/linux 進程間通信 - 共享內存 共享內存 兩個或多個進程，共享同一塊由系統內核負責維護的內存區域，其地址空間通常被映射到堆和棧之間。
2020-02-21 19:13:35
原创 pthread線程屬性介紹
線程屬性 創建線程函數 int pthread_create (pthread_t* restrictthread, const pthread_attr_t* restrictattr,void* (*start_routine
2020-02-21 19:13:35
原创 【C++】智能指針的實現
一點都不智能的智能指針 #include <iostream> using namespace std; template<typename T> class Auto { public: // 避免編譯器報錯，需要顯式類型轉換 e
2020-02-21 19:13:35
原创 hadoop僞集羣模式部署
系統：centOS6.5 x86_64hadoop版本：hadoop-2.6.0-cdh5.7.0JDK版本：1.7參考網址：http://hadoop.apache.org/docs/current/hadoop-project-dis
2020-02-21 19:13:35
原创 hdfs簡單介紹
1. HDFS前言設計思想分而治之：將大文件、大批量文件，分佈式存放在大量服務器上，以便於採取分而治之的方式對海量數據進行運算分析；在大數據系統中作
2020-02-21 19:13:35
原创 鑽石繼承和虛繼承
在C++中，類是允許多繼承的，多繼承大大的提高了代碼的複用、減少代碼冗餘、大大的提高了類的表現力，使得類更貼近現實中的事物，使用起來更爲靈活，更面向對象。 但由於這靈活的語法，使得C++使用起來比別的編程語言更爲複雜，不過凡事有利必有弊，
2020-02-21 19:13:35
原创 通過源碼瞭解hdfs客戶端寫文件流程
之前梳理了一下hdfs客戶端的簡單流程，但爲了跟深刻的瞭解，所以嘗試通過源碼瞭解一次。先準備demo代碼，將斷點打在fs.copyFromLocalFile()。public class HdfsClientDemo { FileSys
2020-02-21 19:13:35
原创 hive筆記-如何創建一張表並將數據導入
參考資料：https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentationhive版本：hive1.1.0主要通過參考官網wiki，順便做做筆記。具體
2020-02-21 19:13:35
原创 hive筆記-靜態分區和動態分區
1、靜態分區CREATE TABLE emp_dept_partition(empno int,ename string,job string,mgr int,hiredate string,sal double,comm double)
2020-02-21 19:13:35
原创 Hadoop源碼編譯
系統：centOS 6.5-x86_64 Hadoop版本：hadoop-2.8.1 1、下載hadoop源碼，如果官網沒有對應的版本，可以選擇去github下載。 http://hadoop.apache.org/releases.h
2020-02-21 19:13:35
原创 客戶端向yarn提交MR作業流程簡述
這裏簡述一下客戶端向yarn提交MR作業是，yarn是如何進行調度，同時會有哪些進程(windos下爲線程)協調工作。1、yarn簡述yarn是一個資源調度平臺，負責爲運算程序提供服務器運算資源，相當於一個分佈式操作系統平臺，而mapre
2020-02-21 19:13:35
原创 C++ 多態，虛函數
虛函數和多態 1.基本概念如果在類中某個成員函數被定義爲虛函數，那麼在該類的派送類中如果擁有與基類虛函數函數原型相同的函數同樣爲虛函數，並且與其基類中的版本構成覆蓋關係。 一個指向子類的基類指針或引用子類的基類引用，調用虛函數
2020-02-21 19:13:35
原创 hive中使用HQL實現wordcount
1、使用一張表，記錄文件數據，文件的一行就是表裏一個字段的數據，所以使用換行符作爲分隔符，並以文件名爲分區drop table file_data;c
2020-02-21 19:13:35
原创 【C++】雙向線性鏈表容器的實現
// 雙向線性鏈表容器 #include <cstring> #include <iostream> #include <stdexcept> using namespace std; // 鏈表類模板 template<typen
2020-02-21 19:13:34