原创 pyspark之創建SparkSession
1、SparkSession 介紹 通過SparkSession 可以創建DataFrame, 也可以把DataFrame註冊成一個table，基於此執行一系列SQL操作。DataFrame和pandas裏的DataFrame類似。
2018-12-12 19:34:25
2
原创 Mac上配置host
有時候爲了方便，需要給ip地址配置主機名（hostname），這樣通過hostname就可以快速訪問了。通過編輯hosts文件來實現。 打開命令行窗口 sudo vi /etc/hosts 按提示輸入電腦當前用戶的密碼. sh
2018-12-10 19:32:04
原创 mysql兩表連接查詢
有兩張表： employee 表 department 表 要求找出每個部門工資最高的人的 姓名、所在部門、工資。 查詢結果如圖， sql語句爲： select department.name Department,employee
2018-08-22 06:43:30
1
原创 Amabri 2.1安裝HDP2.3.2 之 一、HDP介紹
一、HDP （一）簡介 HDP全稱是Hortonworks Data Platform，是由一家美國大數據公司Hortonworks開發的企業級Hadoop平臺。 Hortonworks致力於幫助客戶利用Hadoop開源大數據平臺管理數
2018-08-22 06:43:29
1
原创 阿里2017暑期實習生招聘技術崗編程題2--java實現
一、問題描述： 小張五一回家，父母給他安排了很多個相親的姑娘，設姑娘的人數爲N。 父親負責安排約會，每次隨機選擇一個要相親的對象， 母親負責記錄哪些姑娘已經約會過了。直到和所有的姑娘都約會完一遍以後，相親纔會結束。 這些天父母在吵架，
2018-08-22 06:43:29
1
原创 序列1,2,2,3,3,3, ... 求第n項的值（n=N*）
一、問題描述： 對於這樣一個序列：1,2,2,3,3,3,4,4,4,4,5,5,5,5,5,… 分別有1個1，2個2，3個3，4個4，…… 求第n個數的值。 二、要求 輸入: n，範圍: n大於等於1，且n小於等於10
2018-08-22 06:43:29
2
原创 學習MySQL的第一步：安裝MySQL及數據庫可視化工具Navicat
寫作初衷❤ 筆者電腦上的MySQL不知爲何無法啓動，經上網搜索解決辦法無果，只能卸載重新安裝。 大多數人去MySQL官網下載，不知道要下載哪一個文件，比如有MySQL Enterprise Edition和 MySQL Communit
2018-08-22 06:43:29
11
原创 java調用aimms 以AIMMS SDK的官方示例Basic爲例（詳細介紹）
引言： 關於什麼是AIMMS SDK，以及如何下載安裝AIMMS SDK，我會另寫一篇文章。本文假設已經安裝了AIMMS SDK，在此基礎上，本文以AIMMS SDK自帶的一個Java工程 Basic 爲例，詳細講解如何修改配置文件、如
2018-08-22 06:43:28
15
原创 Ambari 2.1安裝HDP2.3.2 之 六、安裝部署HDP集羣 詳細步驟
六、安裝部署HDP集羣 瀏覽器訪問 http://master:8080，進入amabri登錄頁面，用戶名：admin，密碼： admin 選擇 Launch Install Wizard: 1. Get started 給集羣起
2018-08-22 06:43:28
2
原创 如何轉成libsvm支持的數據格式並做迴歸分析
在matlab中安裝好libsvm包（過程請見 matlab 安裝 libsvm 做迴歸分析）後，我們來用libsvm做一個迴歸。 本次實驗的數據是來自老師給的2006-2008年的日期，24小時的溫度、電力負荷數據，以及2009年的日期
2018-08-22 06:43:28
10
原创 Amabri 2.1 安裝HDP2.3.2 之 四、安裝ambari
四、安裝amabri 在五 2 （5）那一步，我選擇的是非默認的mysql數據庫，所以需要提前做些安排。當然，你可以選擇默認的PostgreSQL 數據庫。 1.查看下現有的資源庫配置信息： # yum repolist 會出現和以下相
2018-08-22 06:43:28
原创 Amabri 2.1安裝HDP2.3.2 之 七、自定義HDP服務
以zeppelin爲例，它是一個基於網頁的notebook，可以進行數據分析與可視化，zeppelin裏有個概念是解釋器，解釋器使得很多後端語言能夠像插件一樣在zeppelin中使用，例如 Spark,、Python、sql、shell等
2018-08-22 06:43:28
4
原创 Amabri 2.1安裝HDP2.3.2 之 二、需求配置說明
二、需求配置說明 Ambari 安裝hortonworks相應ambari版本可以支持的hdp版本如下： 圖2.0 我們選擇的是ambari2.1.2，hdp是2.3.2.0 此時我們準備好一臺純淨虛擬機作爲master機，完整克
2018-08-22 06:43:28
4
原创 linux下elasticsearch 安裝、配置及示例
簡介 開始學es，我習慣邊學邊記，總結出現的問題和解決方法。本文是在兩臺linux虛擬機下，安裝了三個節點。本次搭建es同時實踐了兩種模式——單機模式和分佈式模式。條件允許的話，可以在多臺機器上配置es節點，如果你機器性能有限，那麼可以
2018-08-22 06:43:28
3
原创 Ambari 2.1安裝 HDP2.3.2 之 五、配置amabri-server
五、配置ambari-server 配置ambari-server之前要先建立amabri要使用的數據庫。 1.爲ambari建立數據庫 # yum install mysql-connector-java # mysql -u roo
2018-08-22 06:43:28
7