原创 時刻不停的工作,你將一事無成

讀了哈佛商業評論的這篇文章,發現自己真正習慣於在牀上、廁所檢索財經電商新聞,在早飯、班車上回復同事郵件,並將這種負擔作爲一種新出現並將長久存在的工作環境,自認爲是全心投入而不知疲憊的員工,而實際上,我們只是完成了一些細小而簡單的工作。在無

原创 Hadoop 新 MapReduce 框架 Yarn 詳解

Hadoop MapReduceV2(Yarn) 框架簡介 原 Hadoop MapReduce 框架的問題 對於業界的大數據存儲及分佈式處理系統來說,Hadoop 是耳熟能詳的卓越開源分佈式文件存儲及處理框架,對於 Hadoop 框

原创 linux BASH編程學習筆記

1. Linux 腳本編寫基礎  1.1 語法基本介紹  1.1.1 開頭  程序必須以下面的行開始(必須方在文件的第一行):  #!/bin/sh  符號#!用來告訴系統它後面的參數是用來執行該文件的程序。在這個例子中我們使用

原创 劉強東,揭開京東未來盈利迷局

最近劉強東在內部培訓時口出豪言,“賺取千億利潤才叫賺錢,一年三四十個億也能叫賺錢?”由此引發業界熱議,也有一些人質疑“京東還在燒錢和虧損,就喊出要盈利千億,是吹牛”。 一鯊想說的是,如果你深入分析一下京東的成長之路以及劉強東的未來

原创 Hive的multi-distinct可能帶來性能惡化之案例優化

目前hive的版本支持multi-distinct的特性,這個在用起來比較方便,但是在此特性下面無法開啓防數據傾斜的開關(set hive.groupby.skewindata=true),防止數據傾斜的參數只在單distinct情況下會

原创 ubuntu 下vim安裝、配置和插件的添加使用

超強vim配置文件 運行截圖 簡易安裝方法: 打開終端,執行下面的命令就自動安裝好了: wget https://raw.github.com/ma6174/vim/master/setup.sh -O ma6174

原创 secureCRT連不上虛擬機上的ubuntu

前些日子我的secureCRT一直連不上虛擬機上的ubuntu,雖然兩邊的IP都能ping通!同學也來出謀劃策,但是……,還沒能解決!(都怪我當初連ssh都沒裝就在那瞎弄!)但還是要感謝他們的幫忙。我後來在百度上找到了方法,給大家分享一

原创 python下的tab快捷鍵設置

將下面的進行保存爲tab.py,並將此python保存到/usr/lib64/python2.7/目錄下, 在交互模式下,每次調用時需要 import tab import sys import readline import rlcom

原创 比特幣、鬱金香、旁氏騙局、房價之間的不同點與相同點

敬告各位看官:  這篇文章比較長,請耐心讀完!你從中會學到不少經濟學知識,關鍵是以後你會少上當。  一、從世界經濟史上看“炒作”——荷蘭“鬱金香泡沫”回顧  衆所周知,鬱金香是荷蘭的國花。然而在歷史上,荷蘭國花竟給這個老牌資本主義國家帶

原创 hive 配置參數詳細說明

hive.exec.mode.local.auto 決定 Hive 是否應該自動地根據輸入文件大小,在本地運行(在GateWay運行) true hive.exec.mode.local.au

原创 2015年電商行業十大發展趨勢分析預測

從1990年電子商務誕生到2014年的全民電商時代,電子商務作爲新興行業快速發展至成熟穩定期。縱觀將近30年的中國電子商務發展歷程,我們可以發現,從行業起步到快速發展這一段時間週期內,電子商務大致每隔3年左右就會出現一個階段的“流行趨勢

原创 CentOS下爲python命令行添加Tab鍵自動補全功能

記得我們在剛學linux的時候,老師就告訴我們,在敲命令的時候要敲一下Tab鍵自動補全。如今這個動作已經成爲習慣,相信從事linux運維的筒子們都是如此。    習慣性的敲一下Tab鍵好處挺多的: 節省時間,提高效率。敲幾個字母就能出

原创 HIVE Explain語法

Hive提供EXPLAIN命令,顯示查詢的執行計劃。語法如下: EXPLAIN [EXTENDED] query EXPLAIN語句使用EXTENDED,提供執行計劃關於操作的額外的信息。這是典型的物理信息,如文件名。 Hive查詢被

原创 數據庫爲什麼要分庫分表及實現策略

1 基本思想之什麼是分庫分表? 從字面上簡單理解,就是把原本存儲於一個庫的數據分塊存儲到多個庫上,把原本存儲於一個表的數據分塊存儲到多個表上。 2 基本思想之爲什麼要分庫分表? 數據庫中的數據量不一定是可控的,在未進行分庫分表的情況下,隨