原创 常用markdown 編輯器語法
1.斜體 *hello* hello 2.粗體 **hello** or __hello__ hello or hello 3.鏈接 []->顯示的名字 [威大爺的博客](http://www.pennyx.com:32772
2020-06-22 09:15:51
原创 docker 簡單應用
1.docker部署小應用–2048 首先安裝部署2048 docker pull alexwhen/docker-2048 docker run -d -P alewhen/docker-2048 然後查看自己的應用對應的端口號
2020-06-22 09:15:39
原创 記一次難受的上線經歷
1.業務背景 該業務爲信貸業務，業務流程圖如下： 數據部門主要是對兩次用戶數據進行存儲和解析轉換，存儲用的ES來存（將兩次用戶數據合併存爲一條） 2.開發 由於之前業務是通過spark消費kafka數據進行計算，最後落地到ES上，
2019-07-30 21:49:59
原创 基於hadoop2.6.0的hive-1.2.1安裝
1.安裝環境:有一個完全分佈式的Hadoop-2.6.0。 2.安裝準備:需要在網上下一個Hive的壓縮包，我這兒用的是apache-hive-1.2.1-bin.tar.gz。下載地址here 3.將下載下來的hive壓縮包解壓,並更改
2018-08-24 03:16:03
原创 hadoop-chapter 2
一.namenode->可以看作是分佈式文件系統中的管理者，主要負責管理文件系統的命名空間、集羣配置信息和存儲塊的複製等 1.管理文件系統文件的元數據信息（包括文件名稱、大小、位置、屬性、創建時間、修改時間等等） 2.維護文件到塊的對應關
2018-08-24 03:16:03
原创 Hadoop HA的安裝配置
一，HA的架構 Hadoop HA 即Hadoop的高可用，不同於普通的namenode+second namenode的模式，second namenode只能作爲namenode的冷備份，當namenode掛掉後，second nam
2018-08-24 03:16:03
原创 Centos 配置本地yum源
一.準備 1.一個centos的源的iso鏡像文件，最好是everything。我自己用的是CentOS-7-x86_64-Everything-1611.iso 2.需要在vmvare上添加上這塊鏡像文件 二，掛載並配置yum源
2018-08-24 03:16:03
1
原创 大數據學習筆記（四）-構建全文搜索引擎
完整代碼在這 對於搜索引擎，我們幾乎每天都要用到，這個也是集體智慧算法中最重要的算法之一。其中Google的pagerank算法是引領搜索引擎前進的一大重要算法。當然，這兒學習的是小數據搜索。 1.獲取數據，建立索引 這兒用
2018-08-24 03:16:03
原创 大數據學習筆記（二）-分級類聚&列類聚
下面用到的數據及代碼:click here 1.獲取數據： 來自100個博客裏面的所有文章單詞數目，這兒用的rss訂閱源對文章數據進行獲取，rss獲取出來是xml文件格式，所以可以下載一個feedparser來對xml文檔進行解析。關
2018-08-24 03:16:02
原创 基於keystone的swift搭建
OpenStack組件Swift單機搭建（基於Keystone） 該博客是我們班的張大神寫的，在此借用一下。 安裝環境：Ubuntu 16.04 需要有兩塊硬盤（一塊爲系統盤，一塊用於安裝SWIFT） 需要有IP地址 環境準備
2018-08-24 03:16:02
2
原创 mongodb和redis 的常用指令和python遠程連接
一.mongodb 更多指令參見mongodb大全 1.安裝mongodb ubuntu:apt install mongodb centos:yum install mongodb 啓動服務 service mongodb star
2018-08-24 03:16:02
原创 zookeeper-3.4.6的安裝和簡單使用
一，zookeeper簡介 zookeeper主要爲分佈式程序提供協調服務的，解決一致性等問題。如分佈式中的高可用中的主節點的選擇，CS架構中，有多臺服務器，客戶端對服務器的選擇等應用場景。 zookeeper的主要角色是l
2018-08-24 03:16:02
原创 hadoop - chapter 1
一.分佈式 1.分佈式是指將不同的業務分佈在不同的地方。 而集羣指的是將幾臺服務器集中在一起，實現同一業務。 2.分佈式是以縮短單個任務的執行時間來提升效率的，而集羣則是通過提高單位時間內執行的任務數來提升效率。 二.cap理論 C（Co
2018-08-24 03:16:02
原创 用eclipse遠程連接hadoop-2.6.0
所有需要的文件都在這：hadoop 提取碼:j6zx 1.下載eclipse(或者用我傳的壓縮包) 下載解壓後將hadoop-eclipse-plugin-2.6.0.jar放在eclipse目錄的plugins目錄下 2.下
2018-08-24 03:16:02
原创 vim 編輯器常用指令
1.設置vim編輯器的默認選項 vim ~/.vimrc -->修改vim編輯器默認選項 #tab縮進四個空格 set ts=4 #自動縮進 set autoindent #顯示行號 set nu #高亮匹配括號 set showmatc
2018-08-24 03:16:02