原创 大數據面試·Hadoop篇（一）
大數據面試·Hadoop篇（一）1.1 HDFS基礎1.1.1 寫1.1.2 讀1.1.3 HDFS的體系結構1.1.4 通過客戶端向hdfs中寫數據的時候，如果某一臺機器宕機了，會怎麼處理？ 1.1 HDFS基礎 1.1.1 寫
2020-07-06 04:24:44
原创 大數據面試·Hadoop篇（三）
大數據面試·Hadoop篇（三）1.3 MapReduce調優1.3.1 數據輸入階段的調優1.3.2 Map階段的調優1.3.3 Reduce階段的調優1.3.3.1 合理設置Map和Reduce數量1.3.3.2 設置Map和
2020-07-06 03:42:50
原创 大數據面試·Hadoop篇（五）
大數據面試·Hadoop篇（五）2.1 Hive2.1.1 Hive壓縮類型推薦2.1.2 Hive分區表和分桶表2.1.3 order by、sort by、distribute by、partition by2.1.3.1 o
2020-07-06 03:42:50
原创 大數據面試·Spark篇（一）
Spark的shuffle算子一、去重二、聚合三、排序四、重分區五、集合或者表操作 一、去重 def distinct() def distinct(numPartitions: Int) 二、聚合 def reduceByKe
2020-07-06 03:42:50
原创 大數據面試·Spark篇（二）
大數據面試·Spark篇（二）Spark Streaming任務延遲監控及告警1.需求2.自定義StreamingListener3.添加到streamingContext中 Spark Streaming任務延遲監控及告警 1.
2020-07-06 03:42:50
原创 大數據面試·漫談
大數據面試·漫談數據倉庫、數據湖、數據中臺列式存儲的好處 數據倉庫、數據湖、數據中臺 數據倉庫(Data Warehouse)是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩定的（No
2020-07-06 03:42:50
原创 大數據面試·Hadoop篇（二）
大數據面試·Hadoop篇（二）1.2 HDFS HA1.2.1 簡單說下HDFS HA1.2.2 DataNode宕機1.2.3 NameNode宕機1.2.4 NameNode對元數據的管理1.2.5 HDFS的checkpo
2020-07-06 03:42:50
原创 大數據面試·Hadoop篇（四）
大數據面試·Hadoop篇（四）1.4 Hadoop集羣常用shell命令1.4.1 啓動HDFS1.4.2 啓動YARN1.4.3 創建文件夾1.4.4 查看HDFS系統根目錄1.4.5 上傳文件1.4.6 下載文件1.4.7
2020-07-06 03:42:50
原创 2020·記錄阿里的一次面試（二）
2020·記錄阿里的一次面試（二）1、改簡歷1.1 基於Flink1.10的實時熱門商品統計和訂單支付模塊1.2 基於電商評論數據集的多模態混合推薦系統1.3 基於Spark2.x的電商大數據統計分析平臺 1、改簡歷 在此次面試溝
2020-06-29 07:56:59
原创 經典算法·求解：邏輯迴歸
經典算法·求解系列（1）1、邏輯迴歸1.1 前置知識1.1.1 線性迴歸1.1.2 Activation Function1.1.3 Loss Function1.1.4 Optimizer1.1.5 Evaluation1.2
2020-05-05 17:20:28
原创 牛客 · 錯題集錦 （三）
寫在左上角的：十題一集合，溫故以知新 牛客 · 錯題集錦 （三） 1、java中提供了哪兩種用於多態的機制？ A、通過子類對父類抽象方法的覆蓋實現多態。 B、利用重載來實現多態，即在同一類中定義多個同名的不同方法來實現多態。 C、利用覆
2020-05-01 03:44:18
原创 流程設計與代碼註釋：冷思考（二）
/** * 即時推送邏輯： * * 1、判斷刷新標誌，醫生排班JSON是否爲空 * * 2、解析醫生排班JSON * * 3、JSONObject對應 JavaBean * * 4、判斷醫生是否存
2020-05-01 03:44:18
原创 Map的比較與遍歷
/** * 中午12點30定時推送邏輯： * * 下午排班和上午排班不同的進行推送 * * @author Qcl * @version v1.1 * @throws ParseExcept
2020-05-01 03:44:18
原创 面試項目2：基於Spark2.x的電商大數據統計分析平臺
基於Spark2.x的電商大數據統計分析平臺0、版本&語言1、數據格式介紹1.1 數據來源1.2 數據含義2、用戶訪問session分析（Spark Sql）2.1 需求2.2 實現2.2.1 複合條件查詢2.2.1 計算時長與步
2020-04-28 21:47:57
原创 面試項目3：基於Flink的實時熱門商品統計和訂單支付模塊
基於Flink的實時熱門商品統計和訂單支付模塊1、實時熱門商品統計（窗口聚合、窗口分組、TopN）2、訂單超時失效（基於CEP）3、實時對賬 1、實時熱門商品統計（窗口聚合、窗口分組、TopN） 2、訂單超時失效（基於CEP） 3
2020-04-28 21:47:57