原创 IDEA中運行Spark

   IDEA中運行Spark有兩種方式本地模式和遠程模式。 1.本地模式    本地Spark程序調試需要使用local提交模式,即將本機當做運行環境,Master和Worker都爲本機。 Maven依賴 <?xml versi

原创 Spark概述

文章目錄1.什麼是spark2.Spark特點3. Spark用途 1.什麼是spark    Spark是一種快速、通用、可擴展的大數據分析引擎,2009年誕生於加州大學伯克利分校AMPLab,2010年開源,2013年6月成爲A

原创 大數據學習之路

目錄   一、發展趨勢 二、使用技術 三、高校課程大綱建議 一、發展趨勢         大數據開啓了一次重大的時代轉型,正在改變我們的生活以及理解世界的方式,而更多的改變正在蓄勢待發。         據估算,全球數據總量預計2020年

原创 ExitCodeException exitCode=-1073741515 異常解決

     在博客《通過Idea遠程調試Hadoop集羣》中部署環境後,有個別機器會出現ExitCodeException exitCode=-1073741515 異常,主要原因是windows操作系統缺少文件,本文主要介紹一下解決方

原创 通過Idea遠程調試Hadoop集羣

      早期的開發中經常用eclipse遠程調試Hadoop集羣,近期Idea的市場佔有率逐漸增加,本文介紹如何在通過Idea遠程調試Hadoop集羣。 一、工程截圖 二、操作流程 Idea中新建項目 將hadoop依賴的ja

原创 javaEE重定向傳遞參數亂碼解決

在javaEE中通過重定向後面的問號傳遞中文,會有亂碼問題。 問題 response.sendRedirect("DeptListServlet?msg=該條記錄已經被刪除"); 解決 通過URLEncode

原创 Excel中通過FREQUENCY統計分數段

本文主要介紹Excel中通過FREQUENCY函數,統計各個分數段的人數。 原始數據 操作步驟 根據各個分數段(G列),算出臨界點(H列) 鼠標選中【個數】列(H5:H9) 在輸入欄中輸入對應的列【=FREQUENCY(D4:D20,

原创 windows環境redmine安裝及應用

  redmine是一款項目進度管理工具,包括bug管理、新聞發佈、甘特圖、wiki等功能。其中甘特圖功能是我比較喜歡的。 一、安裝 可以到我的網盤下載或者在官網下載(需要先註冊) https://pan.baidu.com/s/1jG

原创 JavaEE分頁查詢

本文主要介紹JavaEE中採用泛型進行分頁查詢。該分頁是通過當前頁號及每頁記錄數在數據庫中進行查詢,假設數據庫是Oracle。 完整代碼可以到 https://github.com/psp0001060/LearnServlet下載

原创 eclipse中通過Jetty和Maven構建web工程

工程結構圖 構建過程 1-maven構建項目 2-新建web目錄 在src/main/目錄下構建子目錄src/main/webapp/WEB-INF 3-新建web.xml <?xml version="1.0" encoding="

原创 sqoop安裝及配置

本文主要介紹sqoop安裝及配置。 版本:1.4.6 sqoop安裝 1.將sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz解壓到安裝目錄。 unzip sqoop-1.4.6.bin__hadoo

原创 centOS中jsp環境搭建

軟件版本 centOS 6.7 jdk-8u151-linux-x64.tar.gz apache-tomcat-8.5.24.tar.gz MySQL-server-5.5.30-1.linux2.6.x86_64.rpm MySQL

原创 windows端口占用及處理

使用idea 開發工具,啓動tomcat時候,經常會出現1099端口被佔用,本文主要介紹端口占用及處理的方法。 解決方法: 查詢端口進程佔用的PID Netstat –ano|findstr "端口號" 例:Netstat –ano|

原创 IntelliJ Idea SVN 常用功能介紹

一、檢出 checkout 二、顏色對應 三、文件commit 四、文件update## 五、工程同步## 六、 衝突解決## 5.1 場景 5.2 更新操作 ## 5.3 發生衝突 ## 5.4 解決衝突 ## 一、檢

原创 Mybatis 多對多關係

本文主要通過學生選課的場景,進行Mybatis多對多的案例介紹。 開發環境 idea mysql 工程代碼下載地址 https://github.com/psp0001060/06_Mybatis_Many2Many.git 代碼