原创 Hadoop簡介與安裝

hadoop簡介 Apache Hadoop軟件庫是一個框架,允許使用簡單的編程模型跨計算機集羣分佈式處理大型數據集。它旨在從單個服務器擴展到數千臺計算機,每臺計算機都提供本地計算和存儲。該庫本身不是依靠硬件來提供高可用性,而是設

原创 activiti表說明

ACT_RE_*: 'RE’表示repository。 這個前綴的表包含了流程定義和流程靜態資源 (圖片,規則,等等)。 ACT_RU_*: 'RU’表示runtime。 這些運行時的表,包含流程實例,任務,變量,異步任務,等運行

原创 同時運行多個Tomcat

修改server.xml port <Server port="8005" shutdown="SHUTDOWN"> <Connector port="8080" protocol="HTTP/1.1"               con

原创 流程開發-Activiti

流程簡介: 爲實現某個業務目標,在多個參與者之間,利用程序,按某種預定規則自動傳遞信息。 相關概念: BPM BPM(Business Process Management)(業務流程管理),流程的概念和標準。 從本質上說,B

原创 Java整數類型取值範圍計算

Java整數類型取值範圍計算 以下以3位做爲示例。 1,如果不考慮負數。3位表示的最高值爲111,轉爲10進製爲7,加上0,總共可表示8位數字。 2,如果考慮負數,則需要有一位來表示符號位。計算機規定最高位爲符號位,0表示正,1表

原创 Springboot中使用swagger2

簡介: swagger2是一個生成在線API文檔的工具。可通過生產的在線文檔測試接口。 一,依賴 <!-- 配置 swagger --> <dependency> <groupId>io.springfox</grou

原创 Hadoop操作命令大全和一些常用的命令

Hadoop操作命令 查看所有命令:hdfs dfs 查看目錄:hdfs dfs -ls / 查看目錄及子目錄:hdfs dfs -ls -R / 創建文件夾:hdfs dfs -mkdir /HDFS目錄 刪除目錄和子目錄:

原创 Hadoop HDFS安全模式、快照、回收站、配額

安全模式 檢查副本率是否滿足配置要求。副本率不夠時,會複製。副本率超出會刪除多餘的。 1、冗餘度:每個數據塊複製多少個副本。 在hadoop-2.7.3/etc/hadoop/hdfs-site.xml配置 <!-- 數據塊的冗餘

原创 Hadoop HDFS NameNode和DataNode工作機制

NameNode:存儲文件的元數據,如文件名,文件目錄結構,文件屬性(生成時間,副本數,文件權限),以及每個文件的塊列表和塊所在的DataNode等。 DataNode:在本地文件系統存儲文件塊數據,以及塊數據的校驗和。 Seco

原创 Hadoop HDFS RPC通信和Proxy(代理)

RPC和Proxy RPC(Remote Procedure Call):遠程調用過程,調用代碼不在本地執行,實現調用者與被調用者之間的連接和通信。 基於Client Server,相當於DFSClient 相當於客戶端。Name

原创 Postgresql修改表SQL

添加字段 alter table 表名 add column 字段 字段類型; 刪除字段 alter table 表名 drop column 字段; 修改字段名 alter table 表名 rename column 舊字

原创 使用Javamail發送html模板郵件

依賴 <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.10.3</version> <

原创 大數據概述和背景

1、什麼是大數據 最早提出在2002年,來源於美國的麥肯錫報告 4V特徵: Volume(數據量大):PB級 Variety(數據多樣性):文本、圖像、視頻、音頻等 Velocity(輸入和處理速度快):流式數據 Value(價值

原创 Java API實現Hadoop HDFS操作

一,依賴 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>

原创 程序員職業規劃和學習規劃

程序員職業規劃路線 技術體系 阿里程序員等級 學習規劃