原创 Hadoop-Yarn源碼-RPC基礎
一.簡介 一種通過網絡從遠程計算機程序上請求服務，而不需要了解底層網絡技術的協議。RPC協議假定某些傳輸協議的存在，如TCP或UDP，爲通信程序之間攜帶信息數據。在OSI網絡通信模型中，RPC跨越了傳輸層和應用層。RPC使得開發包
2020-07-04 13:01:55
4
原创 Spark2.4.0-CDH6.3 錯誤解決過程
1.背景 最近環境切換到CDH6.3，用到Spark2.4，Hive2.1，Hadoop3.0，Beam等組件，Beam中嵌套了很多組件的原生API。 2.安裝 2.1 Spark 具體步驟略，照着網上文檔按步驟就可以安裝好，下面步驟，
2020-06-19 21:55:34
原创 成爲博客專家
寫此文章紀念今天成爲 “CSDN 博客專家” 回顧往事 2015-2016年，研究Java服務端開發，沒有方向感，很多東西跟着業務走。 2017上半年，管理前端，那時候是工作需要，本身對這個興趣不大，做些原生的組件，後來申請做大數據方
2020-06-19 21:55:34
原创 gitchat-Hive 權限管理應用
Hive 權限在開發過程中常常用到，Hive 本身的權限用來防止用戶做不合適的事情，粒度沒有那麼細（不到列級別、行級別），它是不完整的，本文中通過數據開放平臺中用到權限方式，實戰中演練，研究這種思想如何影響着數據應用權限的擴展！
2020-06-19 14:55:20
原创 gitchat文章-用戶增長實戰（大數據應用）
用戶增長是一套平臺機制，包括市場前端的流量獲客，後續的用戶轉化，用戶留存和活躍等，制定完善的數據評估和優化體系，確保用戶增長規模和用戶增長成本達到一個良性的水平。 我曾經在一家公司做用戶增長，這家公司做醫療方面，基於醫院考培評價一
2020-06-19 14:55:20
原创 位運算的優化與應用
一.簡介 隨着JDK的發展以及JIT的不斷優化，語法糖越來越豐富了，程序用了太多了看似高級的用法，易讀性提高很多，那麼效率呢？很多時候計算可以轉換位運算，提高性能和節約空間，很多組件都用到了，比如HashMap、BitSet、Pr
2020-06-19 14:55:20
原创 業務實戰中用到樹結構
一.簡介 最近業務中個場景，行業分級，用到樹結構，抽象出一些普通樹的場景。 二.示例 import lombok.Data; import java.lang.reflect.Field; import java.util.Ha
2020-06-19 13:47:49
1
原创 gitchat文章-IDEA 插件開發實戰
編程時候碰到很多重複性工作，一類事情只幹一次就好，不要再重複做，自動化抽象成工具，那樣提高效率，不用重複搬磚，文中以一個實際場景中用到例子，貫穿下插件開發規範。 在本場 Chat 中，會講到如下內容： 1.簡介 2.原理 3.AP
2020-06-19 13:47:49
1
原创 rpc系列-簡介2
承接rpc系列-簡介1：https://blog.csdn.net/qq_19968255/article/details/82894381 示例 1.結構 2.代碼 客戶端： rpc-client /** * 框架的RPC 客
2020-06-10 00:22:54
原创 Spark-線性迴歸示例01
房屋普查，預測房價，最後預測結果不太準確，後續會調整，可能的原因：最直接原因指標項沒有強線性關係，使用的參數不準確。只是爲了熟悉下流程。 import org.apache.spark.ml.feature.StandardScal
2020-06-10 00:22:54
原创 Spark-Graphx系列-基礎用法
一.簡介 Spark GraphX是一個並行圖計算框架，它是基於Spark平臺提供對圖計算和挖掘簡潔易用的而豐富的接口，極大的方便了對餅形圖處理的需求。在GraphX中，圖的基礎類爲Graph，它包含兩個RDD：一個爲邊RDD，另
2020-06-10 00:22:54
1
原创 rpc系列-簡介1
一.基礎 本人從事大數據行業，故此做系列的博文，爲以後開發分佈式計算基礎服務做準備，這個系列重點了解一些rpc的思路，用什麼組件實現的不重要。 技術棧： 動態代理：https://blog.csdn.net/qq_19968255/a
2020-06-10 00:22:54
原创 dslinkis數據開放平臺報錯01
2020-03-31 20:04:22.691 INFO [Thread-29] com.netflix.discovery.DiscoveryClient 866 shutdown - Shutting down Discov
2020-04-28 07:08:54
原创 Hive 權限管理應用
Hive 權限在開發過程中常常用到，Hive 本身的權限用來防止用戶做不合適的事情，粒度沒有那麼細（不到列級別、行級別），它是不完整的，本文中通過數據開放平臺中用到權限方式，實戰中演練，研究這種思想如何影響着數據應用權限的擴展！
2020-04-23 16:32:58