原创 centos7安裝python3.6.8

原文鏈接：https://blog.csdn.net/nickljw/article/details/85886422 https://blog.csdn.net/nickljw/article

2019-08-29 06:37:08 1

原创 VMvare Redhat 網絡配置 yum源配置

雲平臺、大數據平臺基本都部署在linux服務器上，本篇博客描述的是如何在虛擬機環境下搭建平臺。包括以下幾部分： 一，虛擬機網絡配置（保證虛擬機內的系統可以聯網，可以與主機互相訪問）。 虛擬機：vmvare. linux系統：Redhat7

2019-06-18 07:16:42

原创 雲計算、大數據、人工智能之間的關係，總章

雲的存在是爲了更靈活高效的利用計算、網絡、存儲等計算機資源。因此雲計算主要包括兩部分： 1，資源虛擬化。用以靈活分配計算機資源。如，將計算機上的一部分資源虛擬爲一臺電腦，也可理解爲虛擬機。 2，雲化。也叫池化，將所有虛擬機看做一個資源池，

2019-06-12 23:53:49

原创 什麼是one hot編碼？爲什麼要使用one hot編碼？

【編者按】數據科學家Rakshith Vasudev簡要解釋了one hot編碼這一機器學習中極爲常見的技術。   圖片來源：imgur 你可能在有關機器學習的很多文檔、文章、論文中接觸到“one hot編碼”這一術語。本文將科普這一概

2018-09-05 21:31:50 1

原创 Deep learning 與傳統的神經網絡的區別

Deep learning本身算是machine learning的一個分支，簡單可以理解爲neural network的發展。 　Deep learning與傳統的神經網絡之間有相同的地方也有很多不同。 　二者的相同在於deep lea

2018-09-05 21:31:50

原创 使用IDEA編寫基於Scala的spark程序中的常見問題

1，ClassNotFound    通過Project Structure 將  main 改爲 sources 2，提示已經是一個Object     通過Project Structure 將 src 和 main 改爲 sourc

2018-09-04 22:08:29

原创 Hadoop多節點集羣安裝配置

一步步教你Hadoop多節點集羣安裝配置 1、集羣部署介紹 1.1 Hadoop簡介 Hadoop是Apache軟件基金會旗下的一個開源分佈式計算平臺。以Hadoop分佈式文件系統HDFS(Hadoop Distributed F

2018-09-04 22:08:15

原创 PCA 原理及PYTHON實現

前言 說好的要做個有逼格的技術博客，雖然這篇依然沒什麼水平，但總算走出了第一步，希望以後每天都能進步一點點吧！ 接觸機器學習也一年多了，也學了很多算法，而PCA是數據預處理中一個很重要的算法，當時學習的時候也在網上看了很多資料，沒想到一個

2018-09-04 22:08:14

原创 spark 客戶端和集羣模式的區別

spark 客戶端   driverprogram在提交應用的機器上，運行結果會直接輸出到shell中 spark運行在集羣上   driverprogram在集羣中的一臺機器上   結果在UI上看   shell中不會輸出太多信息

2018-09-04 22:08:14

原创 spark 基本方法

 轉換（Transformations） Transformation Meaning map( func) 返回一個新的分佈式數據集，由每個原元素經過func函數轉換後組成 filter( func) 返回

2018-09-04 22:08:13

原创 Fatal error in launcher: Unable to create process using '"'

今天想用pip安裝MySQL_python,老是提示：Fatal error in launcher: Unable to create process using '"'，script目錄也添加到了系統變量path中，就是報錯。後來不直

2018-09-04 22:08:13

原创 聚類指標Rand Index

假設一個集合中有N篇文章 一個集合中有N(N-1)/2個集合對 TP：同一類的文章被分到同一個簇 TN：不同類的文章被分到不同簇 FP：不同類的文章被分到同一個簇 FN：同一類的文章被分到不同簇 Rand Index度量的正確的百分比 R

2018-09-04 22:08:13

原创 win10下安裝tensorFlow

文章轉載自http://www.jiaxiaojunjxj.cn/2017/11/01/TensorFlow%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B001/ TensorFlow，以下簡稱TF，是Google

2018-09-04 22:08:13

原创 spark UI 顯示已完成應用的歷史信息

1，在HDFS 上創建放歷史文件的目錄 2，配置spark-env.sh的SPARK_HISTORY_OPTS=“-Dspark.eventLog.dir=第一步創建的目錄” 3，配置spark-defaults.conf 的spark.

2018-09-04 22:08:12

原创 HDFS 常用命令

    hadoop fs -mkdir /tmp/input              在HDFS上新建文件夾    Hadoop fs -put input1.txt /tmp/input  把本地

2018-09-04 22:08:12