原创 Spark MLlib機器學習 Pipelines
Spark ML PipelinesML管道管道的主要概念DataFramePipeline components(管道組件)Transformers(轉換器)Estimators(估算器)Properties of pipeli
2020-07-07 06:45:45
原创 Spark修改幾行源碼，解決Kafka數據積壓
Spark 增加幾行源代碼，解決棘手Kafka消息堆積問題導致Kafka數據積壓的幾種情況Spark Streaming消費Kafka的方式常規解決上述三種場景的方式針對第一種由於數據量較大分區較小的情況產生數據積壓針對第二種程序
2020-07-07 06:45:45
原创 Hbase單節點僞分佈式搭建
Hbase僞分佈式搭建 引言 Hbase僞分佈式搭建是指在一臺機器上同時運行 Hmaster、 Hregionserver，該文章基於Hadoop僞分佈式搭建 Hadoop僞分佈式搭建傳送門 搭建過程 Zookeeper安裝 將
2020-06-30 16:54:59
原创 Spark入門( 九)——機器學習 Spark MLlib
Spark MLlib機器學習是什麼？機器學習Spark MLlibSpark MLlib案例快速入門基本統計Correlation(相關性)Hypothesis testing(假設檢驗)Summarizer(總結器)未完待續。
2020-06-30 16:54:59
原创 Hive安裝(超詳細)
Hive安裝前提環境Hive安裝解壓文件修改配置文件HDFS創建Hive工作空間配置Hive環境變量Hive啓動替換Hive原生MetaStore 前提環境 Linux基礎設置以及Hadoop環境安裝請看上一篇文章 Hive安
2020-06-30 16:54:59
原创 Hadoop 僞分佈式搭建(超詳細)
Hadoop僞分佈式搭建虛擬機準備階段操作安全設置防火牆相關指令關閉關閉selinuxIP設置查看機器IP修改主機名修改IP及主機名映射SSH免密登陸Hadoop僞分佈式搭建JDK配置解壓配置環境變量Hadoop配置解壓文件修改配
2020-06-30 16:54:59
原创 Spark 寫入帶有Kerberos認證的HBase在Yarn-Cluster模式下運行報錯
先粘出來報錯信息 javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provi
2020-06-21 04:53:46
2
原创 Thread.sleep(0)到底是個什麼騷操作？
今天看到一段有意思的代碼：Thread.sleep(0)，下面就來分析一下這串看似無用的代碼到底有沒有用。 Thread.sleep(0)到底是個什麼騷操作，這睡0毫秒和不睡有什麼區別嗎？ 操作系統資源的分配策略 想要去了解多
2020-06-21 04:53:46
原创 SpringCloud之服務註冊-Eureka
Spring Cloud Eureka 是 Spring Cloud Netflix 微服務套件中的一部分， 它基於 Netflix Eureka 做了二次封裝， 主要負責完成微服務架構中的服務治理功能。 Spring Cloud
2020-06-21 04:53:46
原创 一篇文章讀懂Kafka消息隊列
Kafka 基礎篇消息隊列的概念使用消息隊列的場景分析異步消息發送：系統間解耦合Kafka 架構Kafka集羣安裝準備工作安裝Zookeeper集羣確保Kafka集羣的正常運行Kafka安裝步驟啓動服務測試Topic 和 日誌生產
2020-06-21 04:04:33
原创 Redis新版本發佈，你還認爲Redis是單線程？
Redis從單線程到多線程的轉變Redis簡介Redis單線程時代`“單線程”`的Redis爲什麼會這麼快？Redis的瓶頸6.0版本後的Redis線程問題redis的多線程不是你理解的多線程redis的多線程是默認關閉的 Red
2020-06-21 04:04:33
原创 關於Springboot、SpringCloud以及SpringCloud-Alibaba Nacos依賴問題
依賴關係SpringBoot和SpringCloud大版本對應關係Alibaba組件版本關係SpringBoot、Cloud、Alibaba 畢業版本依賴關係(推薦使用)依賴管理RELEASE 版本Alibaba組件依賴座標示例
2020-06-21 04:04:33
原创 Hadoop生態圈-HBase
HBaseHbase的引言什麼是HBaseNoSQL特點NoSQL分類Hbase存儲的邏輯結構Hbase僞分佈式環境的搭建Hbase的shell命令HBase 集羣搭建1.時間同步集羣2.Hadoop集羣搭建3. Zookeepe
2020-06-21 04:04:33
原创 SpringCloud之配置中心-Config
Config-Server Spring Cloud Config 是 Spring Cloud 團隊創建的一個全新項目，用來爲分佈式系統中的基礎設施和微服務應用提供集中化的外部配置支持， 它分爲服務端與客戶端兩個部分。服務端稱爲
2020-06-21 04:04:33
原创 Feign開啓HyStrix後如何配置線程隔離及熔斷策略
Feign集成Hystrix默認是關閉Hystrix的，只有在配置文件中設置feign.hystrix.enabled=true纔會開啓Hystrix。 開啓Hystrix後feign之間的方法調用就會默認啓動新的線程執行和主
2020-06-21 04:04:33