原创 BigData-05：HDFS上傳與下載原理
課程回顧： （1）HDFS Web Console （2）HDFS 命令操作（hdfs dfs–普通操作命令 hdfs dfsadmin 管理員命令） （3）IDEA Maven 文件夾的創建。 1、HDFS權限問題 針對用戶
2020-06-15 00:41:41
原创 BigData-04: hdfs基本命令行操作
hdfs的客戶端 .網頁形式->測試用 http://192.168.50.183:50070/dfshealth.html#tab-overview HDFS-Web Console (1) Overview–展示HDFS的
2020-06-15 00:41:41
原创 ElasticSearch及插件安裝
序言：Lucene和Solr和Elasticsearch的區別 Lucene Lucene是apache下的一個子項目，是一個開放源代碼的全文檢索引擎工具包，但它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的
2020-06-15 00:41:31
原创 解決SQLplus不能回退和上下翻業問題
1. 準備 到這個地址下載和自己對應版本的依賴包（我是RHEL5環境）： http://rpm.pbone.net/index.php3 libtermcap-devel-2.0.8-46.1.x86_64.rpm readlin
2019-04-03 14:38:19
原创 基於zookeeper集羣的HA配置
一、Hadoop的HA 二、Yarn的HA 三、Hive的HA 四、HBase的HA 五、Spark的HA 六、Flink的HA 七、Storm的HA 八、Kafka的HA
2019-04-01 14:39:25
原创 springboot註解詳解
https://blog.csdn.net/weixin_40753536/article/details/81285046 SpringBoot註解： 註解 說明 @Service 註解在serviceImpl
2019-03-29 14:41:10
原创 hadoop的四個核心配置文件詳解
https://blog.csdn.net/cuitaixiong/article/details/51591410 hadoop常用端口配置 1.HDFS 端口 參數 描述 默認 配置文件 例子值 fs.defau
2019-03-23 14:40:38
原创 BigData-25：Spark基礎
Spark生態圈： Spark Core: 最重要，其中最重要的就是RDD（彈性分佈式數據集） Spark SQL Spark Streaming Spark MLLib: 協同過濾、ALS、邏輯迴歸等等 —> 實現推薦系統 Spa
2019-03-18 14:40:16
原创 Linux安裝Oracle
Oracle LInux安裝Oracle11 https://blog.csdn.net/studycount/article/details/80515915 Redhat Linux安裝Oracle11 https:
2019-03-16 14:39:40
原创 BigData-15:Yarn框架與hadoop優化
1、ResourceManager和NodeManager 2、hadoop優化 1）mr程序的效率瓶頸 功能：分佈式離線計算 ->計算機性能 CPU、內存、磁盤、網絡 ->I/O操作優化 （1）數據傾斜（代碼優化） （2）map和
2019-03-14 14:21:31
原创 BigData-21：Flink
Flink概述 官網：http://flink.apache.org/ mapreduce->maxcumpute hbase->部門 quickBI DataV Hive->高德地圖 storm->Jstorm … 2019年1月
2019-03-14 14:21:20
1
原创 BigData-17：Azkaban
Azkaban概述 Azkaban是一個分佈式工作流管理器，在LinkedIn上實現，以解決Hadoop作業依賴性問題。我們 有需要按順序運行的工作，從ETL工作到數據分析產品。 特點： 1）給用戶提供了一個非常友好的可視化界面->w
2019-03-14 14:21:20
原创 BigData-16：zookeeper
1）zookeeper簡介 動物管理員 Apache ZooKeeper致力於開發和維護開源服務器，實現高度可靠的分佈式協調。 2）什麼是ZooKeeper？ ZooKeeper是一種集中式服務，用於維護配置信息，命名，提供分佈式同步
2019-03-14 14:21:10
原创 BigData-18：Kafka
Kafka概述 離線部分： Hadoop->離線計算(hdfs / mapreduce) yarn zookeeper->分佈式協調（動物管理員） hive->數據倉庫（離線計算 / sql）easy coding flume->數據
2019-03-14 14:20:15
原创 BigData-19：Storm基礎
Storm概述 網址：http://storm.apache.org/ Apache Storm是一個免費的開源分佈式實時計算系統。Storm可以輕鬆可靠地處理無限數據流，實 現Hadoop對批處理所做的實時處理。Storm非常簡單，
2019-03-14 14:20:15