原创 將本地項目推送到Github

初始化本地項目 cd project git config --global user.name "Jochen-M" git config --global user.email "[email protected]" git ini

原创 機器學習中的偏差和方差

機器學習中誤差的來源主要有兩個方面:Bias(偏差) 和 Variance(方差)。只有找到誤差的來源,才能爲下一步的模型優化提供方向。 1. Bias 和 Variance 這裏以估計隨機變量 X 的均值和方差爲例,進行分析。假設

原创 DNS 查找超時

一、問題:EAI_AGAIN 近日在開發過程中,屢次遇到如下問題: getaddrinfo EAI_AGAIN 查找發現這是一個DNS相關的問題: EAI_AGAIN is a DNS lookup timed out error,

原创 Java反射

一、Class類的使用 在面向對象的世界裏,萬事萬物皆對象。(java中,靜態的成員,普通數據類型不是對象。) 類也是對象,是java.lang.Class類的對象。這個對象的三種表示方法: // 第一種,任何一個類都有一個隱含的靜態

原创 Ubuntu環境下利用Apache2部署多個站點

一、關於Apache2 Ubuntu環境下安裝Apache2 sudo apt-get install apache2 安裝完成後,所有配置文件都在/etc/apache2/目錄下。 基本原理 apache2在啓動的時候自動讀取/e

原创 利用 apache2 在多個服務器上部署多個項目實踐

一、背景 應項目需求,要在兩個遠程服務器上利用 apache2 部署多個項目(前後端分離): Server (Nodejs/Koa2) site1.com (Angular2) site2.com、site3.com(site2.c

原创 Storm集羣搭建小結

一、環境 五臺Ubuntu 16.04; 關閉防火牆,配置hosts文件; 安裝java並配置環境變量; 下載zookeeper-3.4.10.tar.gz、apache-storm-0.9.1.tar.gz; 二、安裝zooke

原创 Hadoop-2.8.0實踐——搭建Hadoop集羣

在本地測試hadoop成功後,我們在多臺主機上搭建hadoop集羣,用於處理大規模數據… 一、準備工作 1.1 系統環境 三臺 Ubuntu 16.04 64位筆記本(一臺作爲Master節點,另外兩臺作爲Slave節點) 1.2 創

原创 MongoDB 數據實時導入 Elasticsearch

一、背景 項目中需要實現對數據的全文檢索功能,數據主要存儲在了 MongoDB 中。MongoDB 本身是自帶文本檢索功能的,但是不支持中文,而且當數據量增大時,MongoDB 的檢索效率會大大降低。 由於最近在學習 Elastics

原创 Hadoop大數據平臺架構與實踐

一、什麼是Apache Hadoop? 1.1 定義和特性 可靠的、可擴展的、分佈式計算開源軟件。 Apache Hadoop軟件庫是一個框架,允許使用簡單的編程模型,在計算機集羣分佈式地處理大型數據集。 它可以從單個服務器擴展到數

原创 Hadoop-2.8.0實踐——單機模式和僞分佈模式

一、安裝 1.1 環境 系統:Ubuntu 16.04 LTS 軟件: Java 1.7及以上 ssh 和 sshd 安裝ssh: $ sudo apt-get install ssh $ sudo apt-get inst

原创 Java註解

一、概念 Java提供了一種原程序中的元素關聯任何信息和任何元數據的途徑和方法。 二、註解的分類 2.1 按照運行機制分 源碼註解: 註解只在源碼中存在,編譯成.class文件就不存在了。 編譯時註解: 註解在源碼和.class文件中

原创 Apache2 SSL加密

一、關於HTTPS和HTTP 1.1 超文本傳輸協議HTTP 超文本傳輸協議HTTP協議被用於在Web瀏覽器和網站服務器之間傳遞信息。HTTP協議以明文方式發送內容,不提供任何方式的數據加密,如果攻擊者截取了Web瀏覽器和網站服務器之

原创 MongoDB 數據定時備份

數據的安全性至關重要,由於一些不可預測的故障,如突然斷電、斷網等,數據可能會丟失。這就要求我們定時備份數據。 這裏記錄如何用 crontab 定時任務,每天定時備份 MongoDB 的數據到另一臺服務器。 shell 腳本 mongo