原创 Scala併發編程創建Actor
創建Actor 創建Actor的方式和Java中創建線程很類似，也是通過繼承來創建。 使用方式 定義class或object繼承Actor特質 重寫act方法 調用Actor的start方法執行Actor [!NOTE
2020-07-02 14:07:19
原创 Scala併發編程WordCount案例
WordCount案例 接下來，我們要使用Actor併發編程模型實現多文件的單詞統計。 案例介紹 給定幾個文本文件（文本文件都是以空格分隔的），使用Actor併發編程來統計單詞的數量 思路分析 實現思路 MainActor
2020-07-02 14:07:19
原创 Scala併發編程發送和接收自定義消息
發送和接收自定義消息 我們前面發送的消息是字符串類型，Actor中也支持發送自定義消息，常見的如：使用樣例類封裝消息，然後進行發送處理。 示例一 示例說明 創建一個MsgActor，並向它發送一個同步消息，該消息包含兩個字段（i
2020-07-02 14:07:18
原创 Scala併發編程Actor介紹
Scala併發編程Actor介紹Actor介紹Java併發編程的問題Actor併發編程模型Java併發編程對比Actor併發編程 Actor介紹 scala的Actor併發編程模型可以用來開發比Java線程效率更高的併發程序。我們
2020-07-02 14:07:18
原创 leetcode之刪除重複電子郵箱
刪除重複的電子郵箱題目描述Result先上答案 題目描述 編寫一個 SQL 查詢，來刪除 Person 表中所有重複的電子郵箱，重複的郵箱裏只保留 Id 最小 的那個 Result 先上答案 delete from perso
2020-07-02 14:07:18
原创 Spark之combineByKey算子
Spark之combineByKeygroupByKey和ReduceByKey均是有combineByKey實現作用調用參數注意點 groupByKey和ReduceByKey均是有combineByKey實現 作用 對
2020-07-02 14:07:17
原创 ZooKeeper分佈式鎖詳解
ZooKeeper分佈式鎖詳解 分佈式鎖機制 假設客戶端A搶先一步,對zk發起了加分佈式鎖請求,這個加鎖請求用到了zk中的一個特殊概念,叫做臨時順序節點 簡單來說,就是在My_lock這個鎖節點上創建了一個順序節點,在zk內部自
2020-07-02 14:07:17
原创 Java集合面試整理LIst,Map,Set
Java集合面試整理1:聊一下常見的集合吧Collection接口和Map接口是所有集合框架的父接口2:HashMap和Hashtable的區別3:HashMap怎麼解決hash值的衝突4:HashMap爲什麼不直接使用hashc
2020-07-02 14:07:17
原创 org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired
flume啓動出現異常異常報告如下原因:解決方式 異常報告如下 19/09/24 11:46:57 ERROR source.ExecSource: Failed while running command: tail -F -c
2020-07-02 14:07:17
原创 Scala併發編程持續接收消息
持續接收消息 通過上一個案例，ActorReceiver調用receive來接收消息，但接收一次後，Actor就退出了。 object ActorSender extends Actor { override def act(
2020-07-02 14:07:17
1
原创 Spark使用mapPartitions獲取分區下的元素
mapPartitions解析 底層源碼 /** * Return a new RDD by applying a function to each partition of this RDD. * * `p
2020-07-02 14:07:17
原创 Scala併發編程發送和接受消息
發送消息/接收消息 我們之前介紹Actor的時候，說過Actor是基於事件（消息）的併發編程模型，那麼Actor是如何發送消息和接收消息的呢？ 使用方式 發送消息 我們可以使用三種方式來發送消息： ！ 發送異步消息，沒有
2020-07-02 14:07:17
1
原创 在本地和Centos上使用jar包運行java程序
本地Windows10 確定程序所需jar包 創建獨立文件 在獨立文件下創建兩個目錄,一個是lib,一個是conf lib用來存放所有所需jar包 conf用來存放配置文件(**.properties) 將打包好的jar包和po
2020-07-02 14:07:16
原创 Spark整合Hive完整流程，歡迎留言討論
Spark整合Hive整合hive元數據metadataHive 的 MetaStore 是一個 Hive 的組件而 Hive 的 MetaStore 的運行模式有三種Hive開啓元數據服務如果沒有添加下面這一段,啓動spark會
2020-07-02 14:07:16