原创 HBase CRUD 操作指南 (三)

繼  HBase CRUD 操作指南 (二)   4 批處理操作 (Batch Operations) 之前介紹的 API 都是應用到單一行上的操作。本節介紹另外一些 API 調用,這些調用可以批量處理跨多行的不同操作。     NOT

原创 HBase CRUD 操作指南 (二)

繼  HBase CRUD 操作指南 (一)   3. CRUD 操作 (CRUD Operations) 數據庫的初始基本操作通常稱爲 CRUD (create, read, update, and delete), 指的是 增、查、改

原创 Linux 安裝 MongoDB 及 pymongo

1.  安裝 MongoDB MongoDB 可以從 https://docs.mongodb.com/master/administration/install-on-linux/ 獲得安裝信息。 ● 通過系統自帶倉庫安裝:     

原创 CentOS7 安裝 Python3.7 及 SSL 編譯錯誤處理

下載: https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz 解包:tar -zxvf Python-3.7.0.tgz 進入 Python-3.7.0 目錄:     cd P

原创 CentOS 更改 MySQL 5.7數據庫存儲位置及 SELinux 設置

MySQL 默認安裝將 /var/lib/mysql 作爲數據存儲目錄,可以通過登錄 mysql 查看 datadir 變量的值,或者查看 /etc/my.cnf 文件查看:     mysql> SHOW VARIABLES like

原创 利用 Topgit 對 Nutch 定製開發進行代碼管理(二)

繼 : 利用 Topgit 對 Nutch 定製開發進行代碼管理(一)   6. 利用 Topgit 對 Nutch 定製開發進行代碼管理 瞭解了 Topgit 的原理和使用方法之後,就可以利用 Topgit 對 Nutch 定製開發進行

原创 利用 Topgit 對 Nutch 定製開發進行代碼管理(一)

對開源項目的定製開發,源代碼管理是一個人抓狂的問題。隨着主代碼版本的推進和定製版本開發越來越遠,要使用主代碼中新版本的特性,勢必要將主代碼中的新版本合併到自己的定製版本中。這時可能出現大量的衝突,而且衝突的數量會隨着時間的推移和兩個分支上

原创 走進 Apache Nutch (v1.14)

Apache Nutch Apache Nutch 起源於 Apache Lucene 項目,是高可擴展性和高可伸縮性的開源 web 爬蟲軟件項目。項目主頁:     http://nutch.apache.org/      出於底層數

原创 Linux shell 腳本編程-高級篇 (七)

繼 Linux shell 腳本編程-高級篇 (六) 7. 使用其他 shell 雖然 bash shell 是 Linux 發行版中最廣泛使用的 shell,但它並不是唯一的選擇。本節介紹另外兩個可能會碰到的 shell: dash

原创 Linux shell 腳本編程-實戰篇(一)

1. 編寫簡單的腳本實用工具 對 Linux 系統管理員而言,沒什麼比編寫腳本實用工具更有意義。Linux 系統管理員每天都會有各種各樣的任務,從監測磁盤空間到備份重要文件再到管理用戶賬戶。shell腳本實用工具可以讓這些工作輕鬆許多。

原创 Linux shell 腳本編程-高級篇 (五)

繼: Linux shell 腳本編程-高級篇 (四) 5. sed 進階 sed 編輯器的基礎命令能滿足大多數日常文本編輯需求。本節介紹 sed 編輯器提供的更多高級特性。這些功能未必會經常用到,但當需要時,知道這些功能 的存在以及如

原创 Nutch 分佈式運行模式 (v1.14)

Nutch 1.x 是成熟的產品級 web 爬蟲,這個分支通過精細的優化配製,充分利用了具有非常強大的批處理能力的Apache Hadoop數據結構。目前該分支最新版本是 2017 年12月23日發佈的 Nutch 1.14,基於 Had

原创 Linux shell 腳本編程-實戰篇(三)

繼: Linux shell 腳本編程-實戰篇(二)   3. 一些小有意思的腳本   3.1 發送消息   3.1.1 功能分析 對於這種簡單的腳本,需要的功能不多。涉及的一些命令很常見,下面瞭解腳本所需的幾個命令。 3.1.1

原创 Linux shell 腳本編程-基礎篇 (四)

繼 Linux shell 腳本編程-基礎篇 (三)   4. 處理用戶輸入 腳本還得能夠與使用者進行交互。bash shell 提供了一些不同的方法來從用戶處獲得數據,包括命令行參數(添加在命令後的數據)、命令行選項(可修改 命令行爲

原创 Linux shell 腳本編程-高級篇 (二)

繼 Linux shell 腳本編程-高級篇 (一) 2. 圖形化桌面環境中的腳本編程   2.1 創建文本菜單 創建交互式 shell 腳本最常用的方法是使用菜單。提供各種選項可以幫助腳本用戶瞭解腳本能做什麼和不能做什麼。   通常