原创 Greenplum 數據庫 集羣安裝部署(生產環境) 所需硬件

Greenplum 數據庫安裝部署(生產環境) 硬件配置: 16 臺 IBM X3650, 節點配置:CPU 2 * 8core,內存 128GB,硬盤 16 * 900GB,萬兆網卡。 萬兆交換機。 安裝需求: 1臺Master,1

原创 oracle 取左表不在右表記錄的3種方法-引申到db2-開發系列(五)

引: 我們在做數據庫開發用 pl sql 加工數據時,經常會遇到取a表不在b表中的記錄 或者 左表不在右表中的記錄 的情況,所以特地對此做個簡單的總結,以便以後用到回顧。 解決: 取a表某字段不在b表 我們自然的邏輯會想到用 a not

原创 數據倉庫之ETL漫談-實戰總結理論

ETL,Extraction-Transformation-Loading的縮寫,中文名稱爲數據抽取、轉換和加載。   大多數據倉庫的數據架構可以概括爲: 數據源-->ODS(操作型數據存儲)-->DW-->DM(data mart) E

原创 linux 常用(二)常用文件操作命令

1 查找 install.log 文件 有的時候 知道 某個文件夾的名字 或者 文件的名字 但是想去查這個 文件夾 或者 文件 所在的全路徑 可以用如下命令: 1)查找 系統根目錄下: [root@localhost ~]# f

原创 kettle入門(二) 之 kettle連接oracle報的坑爹錯誤 Error occured while trying to connect to the database 的幾種情況

1 引言 在用kettle開發抽取oracle數據的腳本時,時常會出現 Error occured while trying to connect to the database 錯誤,但是仔細觀察日誌,引起這個錯誤的原因不盡相同。這個

原创 BAT職級薪酬深度分析

BAT職級薪酬深度分析 轉自 2015-08-19   拉勾網Lagou微信號   互聯網圈有這麼一句話:百度的技術,阿里的運營,騰訊的產品。那麼代表互聯網三座大山的BAT,內部人才體系有什麼區別?薪酬福利在對應的級別又是如何?晉升是否

原创 oracle 刪除重複數據你想不到的方法大全-開發系列(六)

適合初學者閱讀 引: 我們在做數據庫開發用 pl sql 加工數據時,經常會遇到需要去除重複髒數據的情況,所以特地對此做個簡單的總結,以便以後用到回顧。 重複數據分爲 整條記錄重複 和某個字段重複,刪除目標分爲重複數據全刪除和重複數

原创 程序員開發學習利器篇(上)之百度搜索-你真的會用百度嗎

以下內容,開發初學者看,熟手略過。   論語有言: 工欲善其事 必先利其器 ,意思是工匠想要使他的工作做好,一定要先讓工具鋒利。比喻要做好一件事,準備工作非常重要。 這對於我們程序員做開發時也是這樣,充足且好的準備工作,不但可以提高我們的

原创 oracle TABLE ACCESS BY INDEX ROWID 你不知道的索引回表-開發系列(三)

1 引言 最近系統經常提示一個sql查詢時間過長的問題,看了一下就是一個每天按照時間戳統計前一天量的sql。 表總的數據量爲53483065。 語句如下: select count(x.serial_id) as countnum

原创 kettle入門(六) 之kettle抽取變量表名錶

背景: ods平臺的一個很簡單的數據抽取需求: 上游系統有一個月表,每個月出上個月數據並放在新建的月表裏。例如:20150401出3月份表和數據 TB_B_FT_BROADBAND_201503, 20150501出4月份

原创 Myeclipse8.5 裏複製粘貼(ctr c ctr v)卡的解決方法

前段時間,項目前臺人員比較緊張,給分了點前臺定製頁面展示的活。接手發現,有將近兩年沒搞前臺開發了,再加上現有項目技術框架、代碼不熟,表示事事不順   首先,安裝開發工具 jdk weblogic什麼的倒是很順利,得益於我以前n次的安裝卸載

原创 kettle入門(五) 之kettle抽取gz格式文本詳細案例

背景: ods平臺的一個很簡單的數據共享需求: 運營商的某個部門每天定時送gz格式的HLR文本數據到FTP服務器的固定目錄下。然後ods每天定時去取然後錄入到RDBMS的表中,開放給其他系統查詢調用,這種稱作數據庫表接口。 需求很簡單

原创 淺談ODS與DW的區別-數據項目實戰總結

淺談ODS與DW的區別-數據項目實戰總結   ODS 全稱operation data store 或者 operational data store,中文意思是操作型數據存儲(數據被操作產生的,例如電商交易數據 (客戶買東西訂單)  行

原创 redis 初識redis

key value型的內存數據庫。 沒有持久化情況下 看做是一塊內存,所有的數據要設置失效時間。或者 自己記得key 不然數據就會一直在裏面。 背景:     x省移動臨時提的一個需求 ,用戶上網日誌實時數據 取訪問開始時間 手機號 訪

原创 web前端JS整理之Handlebars介紹

web前端JS整理 引入 對於java web開發,涉及到頁面展示時,比較主流的有兩種解決方案 1. struts2+vo+el表達式。          這種方式,重點不在於struts2,而是vo和el表達式,其基本思想是:根據頁面需