原创 Spark 實戰入門
使用spark分析sogou日誌 下載用戶查詢日誌的精簡版，完整版http://download.labs.sogou.com/dl/q.html 數據格式說明： 訪問時間\t用戶ID\t[查詢詞]\t該URL在返回結果中的排名\t用戶
2018-09-13 03:55:43
原创 用spark分析tomcat日誌
分析tomcat的日誌 讀tomcat的日誌文件,然後輸出數據，寫一個Streaming的統計程序 1：要求統計TOP 100的 IP 2：統計Top 50 頁面PV 3：統計瀏覽器的類型和版本
2018-09-13 03:55:43
原创 Spark源碼倒騰
本文演示spark源碼在idea編輯器上編譯和提交任務 １、從網站上下載spark源碼,在idea中 點擊 VCS->CheckOut form Version Control->Git 把代碼下載到本地 https:/
2018-09-13 03:55:43
原创 Spark學習環境搭建－虛擬機版
計劃２個月內能精通spark開發，今天起開始努力！ １、環境準備 虛擬機採用visualbox,https://www.virtualbox.org 在上面搭建ubuntu server 集羣，下載ubuntu serv
2018-09-13 03:55:43
原创 spark SQL 學習
1：通過Spark SQL 查詢hive中的數據 要求提供操作截圖。 利用第二節課的數據，統計每個地區的人數,並按人數排序2: 寫一個簡單的程序通過JDBC訪問Spark SQL Thrift server能實現查詢，要求過程和
2018-09-13 03:55:43
原创 idea 在ubuntu下面的桌面快捷鍵卸載
/usr/share/applications ~/.gnome/apps ～/.local/share/applications. 下面刪除文件 jetbrains-idea.desktop
2018-09-13 03:55:43
原创 hive初試
1：搭建hadoop和hive，mysql的環境，過程截圖。 2：利用上節課的數據，建表並導入數據。 3：最熱門的查詢詞排行 top10 4：用戶查詢排行 top10 5：搜索結果排名第1，但是點擊次序排在第2的數據有多少?
2018-09-13 03:55:43
原创 信號量使用案例
信號量使用案例： import java.util.HashSet; import java.util.List; import java.util.Set; import java.util.concurrent.Execut
2018-09-07 22:23:12
原创 spring動態加載bean的方法
通過以下方法動態獲取spring bean，主要用於通過一個bean字符串轉換成bean的實例。 1、定義bean上下文操作方法 import org.springframework.beans.BeansException;
2018-09-07 22:23:12
原创 Project configuration is not up-to-date with pom.xml. 問題解決
Project configuration is not up-to-date with pom.xml. Run project configuration
2018-09-06 10:55:17
原创 Eclipse 錯誤 [Failed to create the Java Virtual Machine]
Eclipse 啓動，發現彈出提示框“ Failed to create the Java Virtual Machine ” 解決方法有兩種： 一、修改 --launcher.XXMaxPermSize 128m 二、現加
2018-08-30 23:47:25
原创 Hadoop分佈式集羣平臺搭建
目的 這篇文檔的目的是幫助你快速完成在三臺以上服務器搭建Hadoop應用平臺。 先決條件 VirtualBox 虛擬機共3臺 操作系統：Ubuntu 10.4
2018-08-30 23:47:03
原创 三種設置Tomcat session有效期的方式
三種設置Tomcat session有效期的方式 [代碼] 在server.xml中定義context時採用如下定義： <Context path="/livsorder" docBase="/home/httpd/
2018-08-30 23:47:00
原创 大流量網站的底層系統架構
動態應用，是相對於網站靜態內容而言， 是指以c/c++、php、Java、perl、.net等 服務器端語言開發的網絡應用軟件，比如論壇、網絡相冊、交友、BLOG等常見應用。動態應用系統通 常與數據庫系統、緩存系統、分佈式存儲系統等密
2018-08-30 23:47:00
3
原创 使用mina框架傳輸對象實體
使用mina框架傳輸對象實體方法如下： 對像實體 public class TransDataEntity { private String md5; private String path; private String fr
2018-08-30 23:47:00