原创 三 Kafka的安裝與使用
文檔：三 Kafka的安裝與使用.note鏈接：http://note.youdao.com/noteshare?id=a458b6ed57e80b3c61013d9f5d8d0e4a&sub=57168B0F45DB44C1BCBBF9
2020-06-19 20:26:21
原创 Docker安裝Anaconda環境
一文解決Docker安裝Anaconda環境問題(因爲坑我都踩完了) 直接放DEMO 如果對您有幫助或者解決了您的問題, 就幫我點個贊或者評論關注支持吧, 您的鼓勵是我寫博客的最大支持, 感謝! 最近有搞機器學習的同學找我裝環境,看着
2020-06-19 19:19:21
1
原创 AOF如何縮減自身文件大小
一文解決AOF文件重寫問題 如果對您有幫助或者解決了您的問題, 就幫我點個贊或者評論關注支持吧, 您的鼓勵是我寫博客的最大支持, 感謝! 1. 重寫原理 Redis的AOF機制有點類似於Mysql binlog (Otter中也正是基於b
2020-06-19 19:19:21
原创 Hadoop MapReduce
將會按照HDFS ,MapReduce, Yarn的順序更新, 近期還會整理Zookeper, Hive, pig等相關 如果對您有幫助或者解決了您的問題, 就幫我點個贊或者評論關注支持吧, 您的鼓勵是我寫博客的最大支持, 感謝! 目前是
2020-02-22 20:53:37
原创 DeepMind異步優化算法PBT解決神經網絡痛點
在圍棋和Atari遊戲、圖像識別與語言翻譯等領域，神經網絡都取得了巨大的成功。但經常被忽視的一點是，神經網絡在這些特定應用中的成功往往取決於研究開始時做出的一系列選擇，包括：使用何種類型的網絡、用於訓練的數據和方法等。目前，這些選擇（又稱
2020-02-22 20:53:37
2
原创 Hadoop HDFS
將會按照HDFS ,MapReduce, Yarn的順序更新, 近期還會整理Zookeper, Hive, pig等相關 如果對您有幫助或者解決了您的問題, 就幫我點個贊或者評論關注支持吧, 您的鼓勵是我寫博客的最大支持, 感謝! H
2020-02-22 20:53:37
原创 Kafka簡介
1. 設計目標 分佈式的發佈訂閱消息系統 O(1) 複雜度的持久化能力 高吞吐率, 單機100K以上消息 支持kafka server 消息分區 分佈式消費 水平擴展 2. 基礎概念 2.1 生產者與消費者 2.2 主題與分區
2020-02-22 20:53:37
原创 狀態機問題的思考
實際上就是 DP table 狀態機的兩個框架 一、窮舉框架 for 狀態1 in 狀態1的所有取值： for 狀態2 in 狀態2的所有取值： for ... dp[狀態1][狀態2][
2020-02-22 20:53:37
原创 Hadoop Yarn
1. 基本組成 1.1 全局資源管理器 ResourceManager 負責系統資源管理 調度器 應用程序管理器 1.2 每個程序特有的 ApplicationMaster 單個應用程序管理 1.3 NodeManager 定時地向RM彙
2020-02-22 20:53:37
原创 二 Kafka 的設計與實現
1. Kafka 存儲在文件系統上 Kafka 的消息是存在於文件系統之上的 如果是針對磁盤的順序訪問，某些情況下它可能比隨機的內存訪問都要快，甚至可以和網絡的速度相差無幾 再加上預讀機制 2. Kafka底層存儲設計 同一個
2020-02-22 20:53:37
原创 React中的組件通信問題
一文解決所有組件通信問題(因爲坑我都踩完了) 直接放DEMO 如果對您有幫助或者解決了您的問題, 就幫我點個贊或者評論關注支持吧, 您的鼓勵是我寫博客的最大支持, 感謝! 需要組件之進行通信的幾種情況 父組件向子組件通信 子組件向父組件通
2020-02-22 20:53:37
原创 Rabbit MQ
如果對您有幫助或者解決了您的問題, 就幫我點個贊或者評論關注支持吧, 您的鼓勵是我寫博客的最大支持, 感謝! 1. 核心概念 整體上是一個生產者與消費者模型，主要負責接收、存儲和轉發消息 1.1 生產者 生產消息的一方 消息一般由
2020-02-22 20:53:37
原创 Rabbit MQ消息一致性的解決方案
1. 如何保證消息正確發送至RMQ 發送方確認模式 信道設置爲confirm模式 投放到目的隊列的時候回返回消息的唯一ID 如果報錯會得到 not ack消息 接收方確認機制 消費者接收且確認後,才能安全的把消息刪除 如果接收未確認
2020-02-22 20:53:37
原创 布隆過濾器
一文解決Redis中的緩存擊穿問題(因爲坑我都踩完了) 直接放DEMO 如果對您有幫助或者解決了您的問題, 就幫我點個贊或者評論關注支持吧, 您的鼓勵是我寫博客的最大支持, 感謝! 布隆過濾器: 一種來檢索元素是否在給定大集合中的數據
2020-02-22 20:53:37
原创 Java NIO
JDK4 中新加入的 NIO(New Input/Output) 類，引入了一種基於通道（Channel） 與緩存區（Buffer） 的 I/O 方式，它可以直接使用 Native 函數庫直接分配堆外內存 1. NIO 與IO 的區別
2020-02-22 20:53:37