原创 Yarn資源調度系統詳解
1、Yarn介紹 Apache Hadoop YARN 是 apache Software Foundation Hadoop的子項目，爲分離Hadoop2.0資源管理和計算組件而引入。YARN的誕生緣於存儲於HDFS的數據需要
2020-06-23 04:21:19
原创 hadoop 文件上傳
hdsf 本質上就是一個分佈式文件系統，只是相對於普通計算機來說，它可以很容易橫向擴展，自帶高可用機制。 我們要在Hadoop做MapReduce計算的時候，就需要把寫好的程序打成jar包放到hdfs上。hadoop提供多種方式方
2020-06-23 04:21:19
3
原创 Missing required property “azkaban.native.lib”
Missing required property ‘azkaban.native.lib’ 17-06-2020 16:06:43 PDT jobB INFO - Starting job jobB at 15924352038
2020-06-23 04:21:18
原创 hive自定義函數（UDF）
概述 用戶自定義函數(UDF)是一個允許用戶擴展HiveQL的強大的功能。用戶可以使用Java編寫自己的UDF，一旦將用戶自定義函數加入到用戶會話中(交互式的或者通過腳本執行的)，它們就將和內置的函數一樣使用，甚至可以提供聯機幫助
2020-06-23 04:21:18
原创 win10編譯hadoop3.2.1
概述 搞大數據，hadoop是核心組件，因爲開源，並且體現龐雜，難免遇到一些坑，在遇到問題的時候很多情況下就需要來翻源碼，如果有bug還得改改bug然後重新編譯。所以在windows上編譯hadoop還是需要弄一下的。hadoop
2020-06-23 04:21:18
4
原创 YARN資源調度策略之Fair Scheduler
目的 這篇文章是對公平調度器（FairScheduler）的說明，它是hadoop的一個可插拔的調度器，目的是讓應用程序在YARN上能夠公平的共享巨大的集羣資源。 介紹 公平調度是一種將資源分配給應用程序的方法，這樣所有應用程序平
2020-06-23 04:21:18
原创 在CentOS上重新編譯nginx，加sticky模塊
爲了達到高可用目的，一個應用一般會部署多個實例，前面用nginx做負載。有些時候我們希望一個用戶的所有請求都打到其中一個實例上（比如會話或者狀態不能在服務集羣所有實例間進行共享時），nginx官方默認的解決方案是通過ip_hash
2020-06-23 04:21:18
原创 Redis Cluster架構
概述 Redis作爲常用的K-V內存數據庫經常被用在大型互聯網項目中，作爲緩存使用，由於大型互聯網項目一般數據量大並且必須保證服務高可用，使用redis一般都是以集羣形式來使用，這樣帶來2點好處： 自動把數據分佈到不同節點，容易
2020-05-01 19:58:37
原创 vscode調試django項目
這幾天研究HUE，這個東西是基於Django開發的，於是又看了一眼Django，學着寫個demo。微軟開源的vscode在業界反應不錯，以前也沒用過，藉着這次機會用用vscode，和pycharm比起來各有千秋，不過總體來說還是不
2020-03-10 15:39:32
原创 Fair Scheduler與Capacity Scheduler比較
1、Fair Scheduler Facebook開發的適合共享環境的調度器，支持多用戶多分組管理，每個分組可以配置資源量，也可限制每個用戶和每個分組中的併發運行作業數量；每個用戶的作業有優先級，優先級越高分配的資源越多。 2、C
2020-02-20 23:47:22
原创 YARN資源調度策略之Capacity Scheduler
什麼是capacity scheduler Capacity Scheduler調度器以隊列爲單位劃分資源。簡單通俗點來說，就是一個個隊列有獨立的資源，隊列的結構和資源是可以進行配置的，如下圖： default隊列佔30%資源，
2020-02-20 23:47:22
原创 CodeMirror.MergeView
最近項目上需要實現2個文本的比較展示功能，找了一圈發現CodeMirror.MergeView 自帶這個功能，其實裏面用的diff插件是Google的diff-match-patch，在github的星星還蠻多，就用選擇這個插件了
2020-02-20 23:47:22
1
原创 presto測試安裝
安裝 安裝參考官方文檔：https://prestodb.github.io/docs/current/installation/deployment.html 環境要求 JDK：>=8u151 如果服務器裏面的jdk版本低於目前
2019-10-25 15:56:10
原创 mysql5.7忘記root密碼處理（win10環境）
環境 操作系統：win10 MySQL版本：mysql-5.7.17-winx64 操作步驟 1. 停止mysql服務 net stop mysql 2. 關閉身份認證 以管理員身份啓動一個DOS窗口，進入mysql的bin
2019-08-28 15:52:36
原创 Flink應用場景
原文鏈接：https://flink.apache.org/zh/usecases.html Apache Flink 功能強大，支持開發和運行多種不同種類的應用程序。它的主要特性包括：
2019-08-28 15:52:36
5