原创 記一次Sparkstreaming應用之Hbase插入數據優化

最近使用SparkStreaming對公司交互產品的日誌進行處理最後插入Hbase和Redis,數據經Flume收集後入Kafka,然後途徑Sparkstreaming應用,最後插入相應數據庫中; 然後發現在數據產生的高峯期Sparkst

原创 java代碼實現將時間序列數據集(UCR)轉化爲weka能識別的.arff文件

之前發過一篇轉.arff文件的博客,後來發現是錯的。。。,weka雖然能識別,但是並不能進行聚類或者分類,原因是我沒有提取數據集中的類別信息,也就是說我將其中的類標也看成一個屬性了。。。而且爲了方便轉換,做了一個再簡單不過的界面,(主要是

原创 java代碼實現將無表頭.txt文本文件轉化爲weka能識別.arff文件

首先,我們要有一個.txt文件,每一行中的元素個數是相同的(因爲每一行中的每一個元素就代表了一種類型的屬性值),文尾已奉上,讀者自行下載。有的就不用下載了, 然後,,, 代碼如下,具體的就不細講了 import java.io.*; im

原创 修改hosts文件將我們的域名地址解析到本機ip

昨天剛剛發了一篇更改apache httpd端口號的問題,,,,然而今天問題就來了。。。 上次由於80端口號被佔用,我就將端口號改爲了8088, 今天將hosts文件的我隨便設置的域名解析到本機ip 當訪問 我設置的域名時發現不能訪問

原创 HBASE-java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch

異常原因: 我是在hbase中 用 table.put(list)的時候發生這個報錯的(最後發現與此無關),我很納悶的是程序之前都是正常跑的,怎麼今天重新打包部署了一下就報錯了,然後跟隨百度大佬們模糊的指點,知道了是jar包衝突問題 解決

原创 Redis報錯-java.net.SocketException: Broken pipe (Write failed)

異常原因: 在SparkStreaming中使用Redis進行高併發寫,發現有時候會出現以下異常: redis.clients.jedis.exceptions.JedisConnectionException: java.net.Soc

原创 Java Swing之按鈕點擊選擇文件與獲取選中文件絕對路徑

button.addActionListener(new ActionListener() { public void actionPerformed(ActionEvent e) {

原创 數據倉庫-大數據血緣關係分析系統設計

目錄 大數據血緣關係分析系統設計 大數據血緣關係分析系統設計 本篇文章摘自如下鏈接(直接放鏈接了),記錄之用,侵刪! 大數據血緣關係分析系統設計一: http://cxy7.com/articles/2018/05/26/15273000

原创 數據倉庫(一):數據倉庫概述

數據倉庫概述 1.數據倉庫需要解決的問題以及需要達成的目標 跨系統實現數據共享,解決信息孤島問題,提升數據質量 現在很多企業都有很多業務,每種類型的業務可能都有一個系統應用來支撐,但各個業務系統之間相互獨立,比如A系統只有A類型業務的數據

原创 idea方法頭快捷鍵設置,親測可用

此處直達原文鏈接 https://blog.csdn.net/jianghappyboy/article/details/80794552   思路清晰,親測可用,轉載以防不時之需

原创 jsp之記錄用戶登錄的總次數以及記錄用戶最後一次登錄的時間

其實剛開始是不知道怎麼去做的,百度了一堆,結果都是沒有用的, 網上的結果不是說用session記錄就是說用cookie記錄,還有的用application(訪問次數??服務員關閉的時候消亡)  但注意~ 其實上面的辦法都是行不通的,因

原创 servlet中alert對話框出現中文亂碼的問題

在servlet中嵌入js代碼顯示對話框對話框出現中文問號亂碼: 解決辦法: 在servlet文件中加上如下代碼問題即可解決: PrintWriter out = response.getWriter();  //獲取輸出流 Str

原创 關於一加載jsp頁面就跳轉到servlet獲取數據然後再跳回jsp頁面的問題

下面來說我遇到的問題: 上一篇文章中寫的是jsp+javabean實現商品分頁  瀏覽,即model1的開發模式,現在要改爲  jsp+sevlet+javabean 即model2了  之前在jsp處理的業務邏輯,都要經過servlet

原创 jsp+servlet實現簡單商品上傳、商品瀏覽、與商品分頁技術

首先,來看一下程序的運行結果: 1. 商品展示部分 2.添加商品界面 下面說一下具體的實現過程: 1.創建數據庫表,任何一個系統首先要做的事情就是建表,明確自己的需求建相應表,該表中我只說一下 pimg字段,其他的大家都應該懂的吧

原创 Linux如何安裝java以及環境配置

1.準備工作   a.因爲Java JDK區分32位和64位系統,所以在安裝之前必須先要判斷以下我們的Centos系統爲多少位系統,命令如下:     uname -a     解釋:如果有x86_64就是64位的,沒有就是32位