原创 Windows10啓動Kafka報錯java.lang.OutOfMemoryError: Map failed
背景 在學習Flink的流處理API時，不可避免地要學Kafka。 問題 在啓動Kafka的服務器時，報了一堆錯誤，關鍵的錯誤如下 java.io.IOException: Map failed at sun.nio.c
2020-06-22 06:41:40
原创 Windows下pig-0.17啓動時遇到的問題及解決
背景 今天開始學pig，一個對大型數據集處理的更高級的抽象。 學習時，在啓動Pig的時候遇到了一些問題，通過修改pig.cmd，這些問題都已經解決。 問題及解決方法 首先，把HADOOP_HOME、PIG_HOME這些環境變量設置好 ha
2020-06-22 06:41:40
原创 go語言基礎學習筆記完整版
目錄 背景 基礎 helloworld 變量 常量 數據類型 基本數據類型與複雜數據類型 值類型與引用類型 查看變量類型 字符與字符串 類型轉換 指針 打包 讀取控制檯數據 for-range遍歷 生成隨機數 函數 普通函數 匿名函數 閉
2020-06-22 06:41:40
原创 Docker學習筆記之Dockerfile的構建與編譯
背景 Docker文件是用來構建docker鏡像的文件，由一系列命令和參數構成。 方法概述 使用三步驟：編寫docker文件、構建鏡像、運行容器 關鍵字字母必須大寫，後面必須有一個空格，以及至少一個參數。每條指令都會創建一個新的鏡像層，並
2020-06-22 06:41:40
原创 解決Docker下沒有vim時，更新apt-get源
背景 docker鏡像裏默認沒有vim，這時如何更新apt-get源呢，這裏記錄下方法 方法 1、運行如下命令 root@57217e5cd268:/# echo "">sources.list root@57217e5cd268:/#
2020-06-22 06:41:40
1
原创 Docker學習筆記之操作mysql
背景 記錄下如何使用docker容器操作mysql數據庫 方法 1、下載鏡像 $ docker pull mysql:5.6 2、運行容器 $ docker run -d -p 3306:3306 -e MYSQL_ROOT_PASS
2020-06-22 06:41:40
原创 解決Ubuntu更新apt-get時報錯哈希碼不匹配
背景 昨晚更新apt-get時由於太晚要睡覺，所以還沒下載完就ctrl-c中斷、關機了。今天重新更新時，報錯如下 Failed to fetch http://us.archive.ubuntu.com/ubuntu/dists/prec
2020-06-22 06:41:40
原创 Docker學習筆記之常用命令
背景 整理一下常用的Docker命令 常用命令 幫助命令 1、查看版本 $ docker version Client: Version: 18.03.0-ce API version: 1.37 Go version
2020-06-22 06:41:39
原创 JVM學習筆記上(概述-本地方法棧)
背景 前一陣跟着宋紅康的視頻學了學JVM，視頻沒有更新完，所以也沒學完，這裏記錄一下筆記 JVM概述 JVM位置： 運行在操作系統之上 相對於java語言，JVM的位置如下所示 對於安卓的Davlik虛擬機，他分佈在安卓運行
2020-06-22 06:41:39
原创 Win10下flink任務的提交運行和取消
背景 最近開始抽空學習flink，這是一個實時流計算的框架 項目打包 先把任務項目打成jar包，在pom.xml文件里加入如下代碼，添加打包插件 <plugin> <groupId
2020-06-22 06:41:39
原创 Docker學習筆記之容器數據卷
背景 容器數據卷是用來保存容器裏的數據的，用來實現數據持久化和數據共享。 這裏記錄一下容器內添加數據卷的方式 添加數據卷的方式 直接命令添加 $ docker run -it -v /c/Users/songzeceng/dataVol
2020-06-22 06:41:39
原创 解決運行MapReduce作業時報錯類找不到
背景 今天在學習HBase和MapReduce的結合時，作業打包運行會報錯第三方類找不到，而我作業jar包裏卻有這個類 解決方法 需要修改hadoop-env.cmd文件，把所需第三方類的jar放到HADOOP_CLASSPATH環境變量
2020-06-22 06:41:39
原创 Weisfeiler-Lehman算法測試圖同構
背景 Weisfeiler-Lehman算法(威斯費勒-萊曼算法)是測試圖同構的經典算法之一，我在這兒記錄一下它的實現原理，參考文章爲Weisfeiler-Lehman Graph Kernels 僞代碼 論文中的僞代碼如下所示 假設要
2020-06-22 06:41:39
原创 Docker學習筆記之概念
背景 整理一下前一陣子對docker的學習筆記 概述 Docker負責管理鏡像和容器，是一種輕量級的虛擬機。 鏡像與容器 鏡像和容器的關係就相當於類和實例的關係，容器相當於運行在虛擬機上的操作系統，鏡像則相當於鏡像文件。 Docker執行
2020-06-22 06:41:39
原创 啓動HBase報錯Could not start ZK at requested port of 2181. ZK was started at port: 2182.
背景 使用start-hbase.cmd啓動hbase的master時，報錯Could not start ZK at requested port of 2181. ZK was started at port: 2182. 解決方法
2020-06-22 06:41:39