原创 linux下查看mysql配置文件位置
首先先看看你的mysql在哪，通過which命令: which mysql 接下來就可以針對上面結果這個目錄通過一些命令查看配置文件在哪了，如下 /usr/bin/mysql --verbose --help | grep -A 1
2020-06-26 09:23:19
原创 在Intellij IDEA 中自動加載Maven管理的依賴包的源碼
一、打開 File -> Settings 窗口，然後在左邊選擇 Build, Execution, Deployment -> Build Tools -> Maven -> Importing ，參考下圖 二、勾選自動下載 “So
2020-06-26 09:23:19
原创 在Intellij IDEA 中編寫WordCount程序並打包到集羣測試
在前面兩篇博客的基礎上： https://blog.csdn.net/weixin_40096730/article/details/102782195 https://blog.csdn.net/weixin_40096730/arti
2020-06-26 09:23:19
原创 Kylin RESTful API使用實踐
官網：http://kylin.apache.org/cn/docs/howto/howto_use_restapi.html#build-cube Base64加密：https://www.sojson.com/base64.html
2020-06-16 02:25:06
原创 在啓用了HDFS HA的集羣誤刪了一個NameNode解決實踐
在啓用了HDFS HA的集羣，2個NameNode節點上一般都會部署三個角色：NameNode，JournalNode和Failover Controller。在實際生產中，我們有時會碰到一個情況，你不小心刪掉了某個NameNode節點上
2020-06-08 07:14:44
原创 HBase 安裝配置與啓動
準備工作 需要安裝好Hadoop和zookeeper，在前面有介紹過 環境部署： 在master、slave1、slave2、slave3上安裝好zookeeper 目錄：/usr/local/BigDataApp/zookeeper-3
2020-06-03 21:39:19
原创 Spark HA配置
版本配置： spark-2.1.1-bin-hadoop2.7.tgz hadoop2.7.3 zookeeper-3.4.10 架構圖： 在前面 Zookeeper、Spark JobHistoryServer配置、Spark S
2020-06-03 21:39:19
原创 Sqoop使用總結——導入數據到大數據集羣import
目錄 RDBMS到HDFS RDBMS到Hive RDBMS到Hbase RDBMS到HDFS 1) 確定Mysql服務開啓正常 2) 在Mysql中新建一張表並插入一些數據 $ mysql -uroot -proot mysql>
2020-05-21 21:26:11
原创 Sqoop使用總結——安裝配置 sqoop-1.4.6-cdh5.7.0
1.下載並解壓 wget https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz tar -zxvf sqoop-1.4.6-cdh5.7.0.tar.gz
2020-05-21 21:26:11
原创 Sqoop使用總結——從大數據集羣導出數據export
HIVE/HDFS到RDBMS $ bin/sqoop export \ --connect jdbc:mysql://hadoop000:3306/company \ --username root \ --password root
2020-05-21 21:26:11
原创 Hadoop性能基準測試
1） 測試HDFS寫性能 測試內容：向HDFS集羣寫10個128M的文件 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-
2020-04-18 20:21:14
原创 IDEA中Spark讀寫Hive測試
讀 1.將集羣上的hive-site.xml文件拷貝到maven工程的resource目錄下 並新增下面代碼即可 <property> <name>hive.metastore.uris</name> <value>th
2020-03-19 09:35:34
原创 VMware虛擬機CentOS 7 磁盤不足擴容
1、VM上修改磁盤信息 將虛擬機關機，然後點擊VM頂部菜單欄中的顯示或隱藏控制檯視圖按鈕來顯示已建立的虛擬機的配置信息 然後左邊菜單欄點擊硬盤，在彈出的對話框選中硬盤，並點擊擴展按鈕，然後在彈出框中的最大磁盤大小修改未所需要的磁盤大小，
2020-02-29 15:49:42