原创 【Python】Windows上創建virtualenv 詳解

virtualenv相當於一個虛擬的python環境,當不同的項目依賴不同的python環境時,就可以對每個項目創建一個虛擬環境,解決不同項目對類庫的依賴問題。 用pip在site-packages這裏安裝虛擬環境: pip inst

原创 Flume 與 Kafka 整合連接

Flume從一個java程序接受隨機生成的數據,並傳至kafka,java程序通過http協議連接flume 把flume安裝目錄下的配置文件複製一份到任意路徑如:/home/hadoop/flume.conf 進入文件修改: vi /

原创 Spark Streaming + Kafka整合

兩種常用的Spark Streaming和Kafka整合方法: 1. CreateStream: 傳統方法,使用了接收器和Kafka的高階API 接收器接收到的數據被存在Spark executors中,隨後streaming的任務

原创 MySQL 連接 通過實例總結詳解 笛卡爾積,自然連接,內連接,外連接

MySQL 連接 表結構: 以下是使用到的兩張表instructor和teaches,我們希望通過屬性ID進行連接 mysql> select * from instructor; +-------+------------+-----

原创 Zookeeper官方文檔學習筆記

Zookeeper是一個爲分佈式應用服務的分佈式協作服務: 應用程序可以使用它的服務來同步,維護配置,分組和命名 設計目標: 簡潔:分佈式程序可以通過namespace協作,zookeeper的數據是存在內存中的,所以可以實現高吞吐和低

原创 TensorFlow學習 Mnist示例程序完整代碼+註釋解析

以下是通過閱讀官方文檔整理的Mnist示例程序,更詳細的代碼解釋參見官網: 官方英文:http://www.tensorflow.org/ 中文翻譯:http://wiki.jikexueyuan.com/project/tensor

原创 python | 報錯問題排查方法總結UnicodeDecodeError: 'ascii' codec ...

錯誤已經解決 Error UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position Environment Win10,pycharm community 2

原创 Digital Ocean 搭建VPN 翻牆 代金券鏈接

註冊Digital Ocean前領10刀代金券,點擊鏈接!! https://m.do.co/c/ebc14e40e3cb 待更…

原创 Kafka 官方文檔學習筆記 -- introduction篇

Introduction Kafka 是一個分佈式流平臺: 發佈和訂閱記錄流,像消息隊列/系統 容錯持久地存儲記錄流 有記錄流出現時處理 kafka概念: kafka是在多個服務器上以集羣方式運行,並有多個數據中心 記錄流存儲在叫t

原创 Kafka 官方文檔學習筆記 -- 啓動配置kafka單點/多點集羣 自帶zookeeper管理

官方文檔上quick start部分對kafka在單節點的不同端口上的運行和合作已經描述的非常詳細,但是沒有多節點集羣的配置操作。本文在整合總結官方文檔的啓動部分的基礎上,新增了構建配置多機器kafka集羣,並使用自行安裝的zookeep

原创 A Brief Intro to Daily Scrum

A Brief Intro to Daily Scrum - 每日站會 - stand up to make meetings short and efficient 每日站會適用於許多團隊項目,特別是在敏捷開發中 它是一個15min的

原创 Idea創建maven工程 上傳提交Spark運行 WordCount 配置依賴插件文件 全步驟

創建maven工程 首先安裝apache maven,選擇maven工程 GroupId和ArtifactId是自己設置,通常ArtifactId就是項目名 直接點finish File -> Project Struc

原创 git bash 本地提交項目至github 命令

在使用過幾次git將項目部署至github之後,總結了一些方法經驗,記在這裏作爲一個簡易的小教程: 首先放個Github上的git使用指南鏈接,供參考,這個指南里其實說的挺全的,不過不想讀英語也沒關係,這裏提供了windows版實用簡單

原创 anaconda已安裝python2.7版本直接命令行操作安裝3.6或任何版本的方法

如果您已經安裝了anaconda python 2.7,就可以直接打開命令行安裝其他版本而不用去官網再下載很大的安裝包啦~ 具體操作如下: 1.windows搜索欄輸入anaconda,出現 2.打開命令行後,命令行運行:(使用清

原创 初次使用xampp MySQL關於端口port佔用問題處理

首先打開XAMPP Control Panel點擊Apache後面的start和admin按鈕  這時如果PID顯示了一個值,而Port沒有值,就是端口被佔用了 解決方法:點擊Apache欄的config,選擇第一個Apache (h