原创 最全Flume、ElasticSearch、Kibana實現日誌實時展示
今天一天的時間，成功使用flume把日誌扇入ElasticSearch中，並運行Kibana實現日誌的初步展示，記錄於此。1：ES集羣的搭建不予贅述，可參考：如何搭建ES集羣2：Flume與ES協同這一部分堪稱是重中之重，主要的時間就是花
2020-06-17 13:08:33
原创 聊聊Docker和虛擬機
本文是譯文，比對下虛擬機和Docker，話不多說，進入正題。 附上鍊接：https://nickjanetakis.com/blog/comparing-virtual-machines-vs-docker-containers 中文鏈接
2020-06-17 13:08:33
1
原创 白話RNN系列（二）
緊接白話談RNN系列（一） 上文討論了基礎的全連接神經網絡，本文，我們來說說RNN。 首先，RNN相比於普通的神經網絡，有什麼改進？ 兩點比較突出：權值共享和隱層神經元節點的有序連接。 直接上圖，淺顯易懂： 上圖，摘自深度學習（花書），
2020-06-04 10:58:57
原创 匈牙利算法-看這篇絕對就夠了！
本文講述的是匈牙利算法，即圖論中尋找最大匹配的算法，暫不考慮加權的最大匹配（用KM算法實現），文章整體結構如下： 基礎概念介紹 算法的實現 好的，開始！ 一. 部分基礎概念的介紹 我會嚴格介紹其定義，並同時用自己的大白話來重述。 概念點1
2020-06-04 10:58:57
原创 白話RNN系列（一）
RNN，循環神經網絡，全稱Recurrent Neural Network。 本文，從RNN的基本原理講起，會探討RNN的前向傳播和反向傳播，並通過一些淺顯易懂的小例子，展示RNN這個東東的神奇之處，盡最大可能以通俗易懂的方式，讓看到本文
2020-06-04 10:58:57
1
原创 從Intellij IDEA開始第一個Spark程序
先前在Windows上倒騰了一份Scala的開發環境，然後換到Mac環境上，重新來了一遍，爲了防止自己的再度忘記，記錄在本博客中。好，廢話不說，開始。1：Intellij IDEA的安裝習慣用Eclipse了，最近纔開始使用Intelli
2020-02-22 00:03:32
原创 詳細解析如何運行hadoop自帶例子
本文，簡單介紹下，如何運行hadoop自帶的mapreduce的那些例子。本文針對的hadoop版本，是2.6.5版本，自帶的例子包名爲：hadoop-mapreduce-examples-2.6.5.jar；位於/share/hadoo
2020-02-22 00:03:32
原创 關於Hadoop IPC的一個小例子
對於分佈式系統而言，RPC毫無疑問是非常重要的，其負責機器之間的通信，而在hadoop中，相應的RPC調用更是不計其數，這裏僅僅簡單提供一個Hadoop IPC的一個小例子，供大家研究。（1）繼承自VersionedProtocol的接口
2020-02-22 00:03:32
原创 關於Yarn源碼的那些事（二）
本文，討論一下提交的MapReduce作業，究竟是如何運行起來的？本文會儘可能解決系列（一）中提出的那些問題，並且提出一些新的問題。1：我們提交的MapReduce程序，到底是如何運行在Yarn框架上的？這個問題，一點點來定位。首先，我們
2020-02-22 00:03:32
原创 數據庫事務隔離級別
本文，先從數據庫事務的四大特性開始講起，過渡到四種主要的事務隔離級別。首先，ACID四種特性。1：原子性（Atomicity）原子性是指，一個事務包含的所有操作，要麼全部成功，要麼就全部失敗回滾；通俗來說，就是事務的操作，要不然就是每一步
2020-02-22 00:03:32
原创 ElasticSearch系列（三） 集羣搭建
本文，講述下集羣的整體搭建。篇幅很短，主要基於前面的文章所寫：集羣規模：兩臺機器，配置基本完全一樣。機器A：JDK版本：1.8.0_111操作系統版本：Linux version 2.6.32-504.el6.x86_64 (mockbu
2020-02-22 00:03:31
原创 關於Yarn源碼的那些事（三）
接系列（二）。介紹完ApplicationSubmissionContext之後，繼續下去：@Override public YarnClientApplication createApplication() throws
2020-02-22 00:03:31
原创 最詳細的Hadoop集羣搭建
本文，針對hadoop的整體搭建過程，給予一個詳細的介紹。1：hadoop版本：採用hadoop-2.6.5版本，下載地址：下載地址下載190M的tar包即可，該包是編譯直接可用的。2：我使用的機器版本：Linux version 2.6
2020-02-22 00:03:31
原创 關於Yarn源碼的那些事（一）
作爲新一代的資源調度統一框架，Yarn（Yet Another Resource Negotiator），在不斷的完善過程中，其用途已經絕不限於Hadoop的生態圈內，業界中，流式計算如Storm，Spark均可以在一定的封裝之後，運行於
2020-02-22 00:03:30
原创 tensorflow的部分函數彙總（非大全，保持更新）
寫在前面： 默認已經引入Tensorflow 和Numpy， 且形如： import numpy as np import tensorflow as tf 1.ones_like sess = tf.Session() ones_
2019-02-19 21:49:06