原创 盡覽Springboot從入門到精通的泣血心酸
一、基礎理論 1、產生背景 SSM開發web應用配置複雜，springboot極大地簡化了配置，讓開發人員更多關注與業務邏輯的實現。 2、Springboot特性 A。能夠快速創建基於spring的應用程序。
2020-07-01 08:35:07
3
原创 徹底解惑MapReduce核心shuffle的執行流程及MapReduce調優前瞻
以處理text文件爲例 map端 map端: 1、MRApplicationMaster啓動maptask，並分配其一個編號，maptask根據編號尋找對應的存儲文件位 置信息及切片長度的數據切片，默認數據切片對
2020-06-16 16:02:10
原创 Redis簡單搭建及密碼配置修改
1、yum -y install gcc tcl #####這個tcl是後續執行完第3步檢查安裝時“make test”要用的，不檢查可以不裝，對後續不會有任何影響 2、cd /opt/source && tar zxvf red
2020-06-16 16:02:10
原创 事務演示：Redis的事務是部分事務
1、理論基礎 1、基礎 a)redis的事務是部分事務，不能保證事務的原子性： 因爲即使事務中有任何操作隱式地執行失敗（即事務提交後該操作執行失敗），事務仍會被提交，能正確執行的操作仍會寫入數據庫中。 b)它的實質
2020-06-16 16:02:10
原创 centos7 rpm安裝mysql5.7
rpm -qa | grep mysql yum -y remove mysql-libs-5.1.66-2.el6_3.x86_64 rpm -qa | grep mariadb yum remove mariadb-libs-5.5
2020-06-16 16:02:09
原创 修改MySQL編碼格式
1、vi /etc/my.cnf 添加如下內容 [client] default_character_set=utf8 [mysqld] collation_server = utf8_general_c
2020-06-16 16:02:09
原创 20 Nov 00:00:08 ntpdate[17339]: the NTP socket is in use, exiting
1、報錯信息如下 2、原因 已經有運行中的xtpd進程佔用了ntpdate的端口，將其殺死即可。 3、解決 查看xtp進程： 沒有則通過lsof進行查看，然後殺死該進程 如果lsof命令無法運行，則安裝 yum install -
2020-06-16 16:02:09
原创 細緻剖析Hive的時間函數
1、時間戳與任何格式的日期互轉 from_unixtime(時間戳,時間格式) 將時間戳轉換爲致指定的日期格式 hive> select from_unixtime(1234567890,'yyyy-MM-dd');
2020-06-16 16:02:09
原创 Azkaban：最受歡迎的工作流定時調度器
1、理論基礎 1、azkaban是什麼？ azkaban是一個工作流定時調度器，可以解決hadoop jobs的作業依賴問題，使相互依賴的job按順序執行。 2、azkaban的特點？ a.兼容所有版本的hadoop
2020-06-16 16:02:09
原创 ssh: Could not resolve hostname node1: Name or service not known
執行ssh命令報錯： ssh: Could not resolve hostname node1: Name or service not known 解決方式： vi /etc/hosts
2020-06-16 16:02:09
1
原创 大數據領域常用組件的端口號
Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485
2020-06-16 16:02:09
原创 通過Sqoop在RDBMS和Hive之間傳輸數據
1、理論基礎 1、版本 sqoop1:1.4開頭 sqoop2:1.99開頭 1和2不兼容 sqoop1只有maptask,task數量需要自己設置。沒有集羣概念 2、安裝： 解壓，配置環境變量，
2020-06-16 16:02:09
原创 手把手教你複製黏貼式搭建企業級CDH平臺
1、基礎知識與節點規劃 1、cdh的部署形式有三種 bin在線部署 rpm包部署 要訪問外網或者私服 tar包部署 這是真正意義上的離線部署 由於公司網路無法訪問外網，所以一般我們就是使用第三種模式
2020-06-16 16:02:09
原创 Maven的安裝與配置
第一步： 下載好maven的軟件包。 傳送門：http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.2/binaries/apache-maven-3.6.
2019-10-28 03:42:23
原创 JUnit4 與 JUnit 5 常用註解對比
原文鏈接：https://blog.csdn.net/winteroak/article/details/80591598
2019-07-03 04:09:24