原创 數據驅動安全

   目前,在許多場合下我們都談到大數據,可能在安全領域也概莫能外。從個人觀點出發,我習慣於於根據安全不同的階段來劃分相關領域及系統應用,主要來說包括:   事前:系統上線安全檢查(含操作系統、一般應用等的漏洞檢查、配置檢查)、應用系統的*

原创 網絡安全相關法規

《×××網絡安全法》(以下簡稱《網絡安全法》)於2017年6月1日正式實施。《網絡安全法》作爲我國網絡空間安全管理的基本法律,框架性地構建了許多法律制度和要求,重點包括網絡信息內容管理制度、網絡安全等級保護制度、關鍵信息基礎設施安全保護制度

原创 Ubuntu系統搭建單機Spark注意事項

 對於Spark而言,如果大家只是想摸一下、熟悉熟悉而已,可以搭建單機的Spark,大致步驟如下(我使用VMWare下的Ubuntu 14.04,暫不考慮安全問題,在root下運行): 1、安裝Ubuntu 14.04,注意裝好後需要禁用防

原创 關於機器學習神經網絡的基本理解

前言  在目前而言,神經網絡恐怕是機器學習尤其是深度學習最爲熱門的一個方向,故筆者將其放在較後的位置予以論述。神經網絡(Neural Network)顧名思義就是模擬人類(爲什麼不是其它動物?)生物特徵上的大腦神經元的結構,故可以認爲這實際

原创 關於DPDK三層轉發的相關例子測試需注意的地方

在DPDK的l3fwd中,需要注意在LPM(Long Prefix Match)方式下,路由表的默認配置一般讓你無法測試,如果需要轉發所有包到第0號Port,則可以按如下方式設置: static struct ipv4_l3fwd_l

原创 關於DH和RSA算法的簡單比較

本文簡單地談下關於安全中最爲常用的兩個非對稱加密的DH算法及RSA算法,文中無意於涉及一些數學原理,這個在網上已經有很多文章敘述了,再重複也沒有太多意思(這類文章只要關注兩點,**其一是密鑰生成方法,其二就是數據的加解密公式**),此

原创 關於機器學習中山峯聚類算法的說明

前言    在之前關於聚類算法的文章中,筆者主要涉及的內容均是和參數求解相關的,如C均值(包括模糊C均值)、混合高斯模型等,而對於一些無參數密度估計的算法尚未討論,而且一般基於參數密度估計的算法均是建立在假設的概率分佈族(如高斯分佈、多項式

原创 關於機器學習中LASSO迴歸的相關補充

   在之前的相關文章中筆者給出了一般迴歸的補充,即嶺迴歸和LASSO迴歸,它們都是爲了解決在迴歸過程中的過擬合問題,其具體解決方案就分別是在目標函數後增加2範數和1範數以限定參數的表現,對於嶺迴歸而言,由於2使用範數的原因,這個目標函數仍

原创 關於機器學習中支持向量機相關問題

前言   在機器學習中,分類問題佔了很大一部分,而對於分類問題的處理有很多方法,比如決策樹、隨機森林、樸素貝葉斯、前饋神經網絡等等;而最爲常見的分類需求一般是二分類問題,即將樣本分爲兩個集合,然後通過學習某些參數,對新的輸入進行識別並劃分到

原创 關於機器學習中一般線性迴歸的補充

  在之前的文章中,筆者給出了關於最小二乘法相關公式的整體推導過程,最小二乘法本身除了可以利用數據進行相關參數的擬合(主要是係數和偏置),而且作爲分類問題中最爲簡單的模型也有着重要作用,我們也可以將其稱作最爲簡單的線性迴歸模型(以後需要涉及

原创 關於機器學習中基於對數線性迴歸模型的討論

前言  在之前的關於迴歸問題的討論中,筆者主要給出了一般原始的線性迴歸模型(主要以最小二乘法形式進行的)以及其它兩種主流的線性迴歸模型的補充內容,它們主要是爲了解決樣本之間存在線性相關性的問題,包括嶺迴歸和LASSO迴歸。  一般而言,對於

原创 關於機器學習中的受限玻爾茲曼機(RBM)的非二值情況的推導

前言  近一段時間以來筆者一直在查找關於受限玻爾茲曼機(Restricted Boltzmann Machine,下簡稱RBM)的相關資料,其實CSDN上的相關帖子已經其二值分佈的情況介紹的比較到位,而且在《機器學習》(於劍著)也以較短的篇

原创 關於機器學習中決策樹的相關問題也談隨機森林

前言    決策樹可能是對於相關樣本進行分類示性最爲直觀的一種方法,使用決策樹方法來演示分類的過程對於讀者而言可能也是最簡單的一種方式,我們可以稱之爲它是白箱算法,所謂白箱就是直接可以對其進行觀察、可以進行可視化;那麼如何衡量哪一種決策樹的

原创 關於機器學習中基於對數線性迴歸模型的討論

前言  在之前的關於迴歸問題的討論中,筆者主要給出了一般原始的線性迴歸模型(主要以最小二乘法形式進行的)以及其它兩種主流的線性迴歸模型的補充內容,它們主要是爲了解決樣本之間存在線性相關性的問題,包括嶺迴歸和LASSO迴歸。  一般而言,對於