原创 linux用戶賦予root權限

1、添加用戶,首先用adduser命令添加一個普通用戶,命令如下: #adduser tommy //添加一個名爲tommy的用戶 #passwd tommy //修改密碼 Changing password for user

原创 Kettle使用jndi mssqlserver

kettle可以使用jdbc的方式設置job或者tansform的數據庫連接,但是,同時它也支持JNDI方式連接數據庫,後者更加方便,只需要配置一份配置文件就可以了,不用每個DBConnection都配置一遍。具體使用方法如下:  

原创 hadoop安裝

本教程適合於在 CentOS 6.x 系統中安裝原生 Hadoop 2,適用於Hadoop 2.7.1, Hadoop 2.6.0 等版本,主要參考了官方安裝教程,步驟詳細,輔以適當說明,相信按照步驟來,都能順利在 CentOS

原创 Java併發之AQS詳解

https://www.cnblogs.com/waterystone/p/4920797.html

原创 啓動hdfs時,報錯 Canary 測試無法在目錄 /tmp/.cloudera_health_monitoring_canary_files 中創建文件

啓動hdfs時,報錯 Canary 測試無法在目錄 /tmp/.cloudera_health_monitoring_canary_files 中創建文件。    經過查看日誌,發現  Name node is in safe mode.

原创 greenplum gp 常用命令

1、連接數據庫, 默認的用戶和數據庫是postgres psql -U user -d dbname 2、切換數據庫,相當於MySQL的use dbname \c dbname 3、列舉數據庫,相當於mysql的show databa

原创 安裝greenplum-cc-web工具出現-error on command: PGPORT=5432 gpconfig -c gp_enable_gpperfmon -v on

安裝greenplum-cc-web工具執行gpperfmon_install命令 [gpadmin@localhost ~]$ gpperfmon_install --enable --password gpmon --port 543

原创 ElasticSearch 5 安裝部署常見錯誤或問題

問題1:uncaught exception in thread [main] org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can n

原创 CDH使用錯誤或者報警

在CDH安裝完成後或者CDH使用過程中經常會有錯誤或者警報,需要我們去解決,積累如下:解決紅色警報時鐘偏差這是因爲我們的NTP服務不起作用導致的,幾臺機子之間有幾秒鐘的時間偏差。這種情況下一是把NTP重新整理配置一下。一種是在操作裏調整報

原创 hadoop集羣只有一個datanode能啓動

這是因爲兩個datanode的VERSION裏面有2個id是一模一樣不能共存。datanodeUuid和storageIDCDH:/dfs/dn/current/VERSION

原创 gpdb使用紀要

使用資源隊列master配置 max_resource_queues = 9 max_resource_portals_per_transaction = 64 resource_select_only = on resource_cle

原创 Hadoop2.7.3+Hbase-1.2.6完全分佈式安裝部署

Hadoop安裝部署基本步驟:   1、安裝jdk,配置環境變量。        jdk可以去網上自行下載,環境變量如下:        編輯  vim  /etc/profile 文件,添加如下內容:        expo

原创 greenplum使用gpfdist外部表加載數據

greenplum使用gpfdist外部表加載數據 greneplum安裝後自帶gpfdist啓動程序,在安裝目錄/bin下,指定端口,共享文件路徑啓動即可 gpfdist -d /var/load_files -p 8081 & 準備

原创 CentOS7.3下安裝Cloudera Manager5.11.1

概述準備條件系統環境配置安裝Java安裝MySQL安裝CMCM配置Q&A參考概述最近公司需要研究大數據方向的內容,經初步討論,決定使用CDH版本 的Hadoop,使用Cloudera生態下的Cloudera Manager平臺。CDH(C

原创 postgresql日期函數

1、數據類型格式化函數:     PostgreSQL格式化函數提供一套有效的工具用於把各種數據類型(日期/時間、integer、floating point和numeric)轉換成格式化的字符串以及反過來從格式化的字符串轉換成指定的