原创 大數據框架兼容

 sqoop 1.4.7 和centos 6.8 不兼容  sqoop 2是測試用,不是用在生產上的 sqoop1.4.6只支持HBase1.0.1之前的版本的自動創建HBase表的功能

原创 hql 和 spark sql的區別

一、什麼是 Spark SQL? (官方定義) Spark SQL * A Spark module for structured data processing(known set of fields for each record -

原创 修改mysql數據庫日誌文件和數據庫文件存放目錄

MYSQL5.7.17默認是安裝在C盤下的(C:\ProgramData\MySQL\MySQL Server 5.7)而且安裝時是不能改變安裝路徑的,這時候數據庫的data數據文件就需要我們改變存儲路徑了,接下來我就給大家說一下如何操

原创 設置mysql 爲hive元數據存儲數據庫

apache-hive-1.2.1-bin/conf <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configur

原创 zookeeper之選舉機制 簡化易理解

目前有5臺服務器,每臺服務器均沒有數據,它們的編號分別是1,2,3,4,5,按編號依次啓動,它們的選擇舉過程如下: 服務器1啓動,給自己投票,然後發投票信息,由於其它機器還沒有啓動所以它收不到反饋信息,服務器1的狀態一直屬於Lookin

原创 sql 各個局部執行順序(不斷更新)

from...     where...         group by...              having....                   select ...                        

原创 線程--鎖

可重入鎖 可重入鎖指的是該線程獲取了該鎖之後,可以無限次的進入該鎖鎖住的代碼。 自旋鎖 自旋鎖是指嘗試獲取鎖的線程不會立即阻塞,而是採用循環的方式去嘗試獲取鎖,這樣的好處是減少線程上下文切換的消耗,缺點是循環會消耗 CPU。   樂觀鎖和

原创 Mybatis-config.xml 標籤說明

<configuration>:聲明在標籤裏面的信息是配置信息 <typeAliases>:聲明在該標籤裏面的信息是一個個的別名 <typealias>:聲明要使用別名的對象(全路徑)用java註解的話可以使用@Alias註解聲明 <en

原创 ThreadLocal 造成內存溢出的原因

看到這裏我們就理解了 ThreadLocal 造成內存溢出的原因:如果 ThreadLocal 沒有被直接引用(外部強引用),在 GC(垃圾回收)時,由於 ThreadLocalMap 中的 key 是弱引用,所以一定就會被回收,這樣一來

原创 volatile,絕對詳解

volatile 應該算是Java 後端面試的必考題,因爲多線程編程基本繞不開它,很適合作爲併發編程的入門題。 開場 面試官:你先自我介紹一下吧! 安琪拉:   我是安琪拉,草叢三婊之一,最強中單(鍾馗不服)!哦,不對,串場了,我是**,

原创 Executors 可以創建 6 種不同的線程池類型

newFixedThreadPool(n):創建一個數量固定的線程池,超出的任務會在隊列中等待空閒的線程,可用於控制程序的最大併發數。 newCacheThreadPool():短時間內處理大量工作的線程池,會根據任務數量產生對應的線

原创 ThreadPoolExecutor線程池的實例和詳解

import java.util.concurrent.LinkedBlockingQueue; import java.util.concurrent.ThreadPoolExecutor; import java.util.conc

原创 燒腦的java字符串比較(字符串常量池、指向堆、指向字符串常量池)--jdk1.8

本文是在jdk1.8的基礎上解析的。 在JDK1.8中 調用 intern() 該方法: 如果常量池中 有 一個和當前對象相等 (用equals比較) 的字符串, 則返回常量池中的字符串 ; 否則把改字符串放到常量池中,並返回 該字符串的

原创 關於 Java 中字符串常量池 的理解

https://blog.csdn.net/langhong8/article/details/50938041 這是一篇頓悟的文章 字符串常量池  中存儲的是字符串對象的引用,而字符串本身是在堆上分配的  ( java中的對象基本都在堆

原创 dfs.namenode.name.dir 和dfs.datanode.data.dir dfs.name.dir 與 dfs.data.dir的意思

dfs.namenode.name.dir 和dfs.datanode.data.dir分別是什麼目錄? dfs.namenode.name.dir 和dfs.datanode.data.dir分別是什麼目錄?有何作用?我們可以在本地文件