詳解隊列Queue

1. 引言

Queue: 基本上,一個隊列就是一個先入先出(FIFO)的數據結構,優先隊列除外其更具comparator或者comparable實現進行比較。
Queue接口與List、Set同一級別,都是繼承了Collection接口。LinkedList實現了Deque接口。
在併發隊列上JDK提供了兩套實現,一個是以ConcurrentLinkedQueue爲代表的高性能隊列非阻塞,一個是以BlockingQueue接口爲代表的阻塞隊列,無論哪種都繼承自Queue。

在最後兩節會深入當了解兩個queue的實現類,PriorityQueue和ConcurrentLinkedQueue。

Queue家族當繼承關係如下所示:

繼承關係

2. 阻塞隊列與非阻塞隊列

阻塞隊列與普通隊列的區別在於,當隊列是空的時,從隊列中獲取元素的操作將會被阻塞,或者當隊列是滿時,往隊列裏添加元素的操作會被阻塞。試圖從空的阻塞隊列中獲取元素的線程將會被阻塞,直到其他的線程往空的隊列插入新的元素。同樣,試圖往已滿的阻塞隊列中添加新元素的線程同樣也會被阻塞,直到其他的線程使隊列重新變得空閒起來,如從隊列中移除一個或者多個元素,或者完全清空隊列。

3. 子類簡述

3.1 未實現阻塞接口的

  • LinkedList : 實現了Deque接口,受限的隊列
  • PriorityQueue : 優先隊列,本質維護一個有序列表(內部維護一個最小堆的一維數組)。可自然排序亦可傳遞 comparator構造函數實現自定義排序。
  • ConcurrentLinkedQueue:基於鏈表 線程安全的隊列。增加刪除O(1) 查找O(n)

3.2 實現阻塞接口的

實現blockqueue接口的五個阻塞隊列,其特點:當隊列滿或者空時,線程阻塞,直到到有空間或者插入元素時,才進行操作。

  • ArrayBlockingQueue: 基於數組的有界隊列
  • LinkedBlockingQueue: 基於鏈表的無界隊列
  • ProiporityBlockingQueue:基於優先次序的無界隊列
  • DelayQueue:基於時間優先級的隊列
  • SynchronousQueue:內部沒有容器的隊列 較特別 --其獨有的線程一一配對通信機制

4. 基本操作方法

操作 拋出異常 返回特定值
入隊 add(e) offer(e)——false
出隊 remove() poll()——null
檢查 element() peek()——null

另外在阻塞隊列中還有兩個阻塞方法:

    put 添加一個元素 如果隊列已滿 則阻塞
    take 刪除並返回隊列頭部元素 如果隊列爲空 則阻塞

5. PriorityQueue

5.1 簡介

優先級隊列,是0個或多個元素的集合,集合中的每個元素都有一個權重值,每次出隊都彈出優先級最大或最小的元素。一般來說,優先級隊列使用堆排序來實現。這裏簡單介紹下用到的知識,堆排序依賴於完全二叉樹。
若設二叉樹的深度爲h,除第h層外,其它各層 (1~h-1) 的結點數都達到最大個數,第h層所有的結點都連續集中在最左邊,這就是完全二叉樹。
在完全二叉樹之上,又引入一個新的概念,叫做最小/大堆,堆是一種經過排序的完全二叉樹,其中任一非終端節點的數據值均不大於(或不小於)其左子節點和右子節點的值。

5.2 源碼分析

5.2.1 主要屬性

    // 默認容量
    private static final int DEFAULT_INITIAL_CAPACITY = 11;
    // 存儲元素的地方
    transient Object[] queue; // non-private to simplify nested class access
    // 元素個數
    private int size = 0;
    // 比較器
    private final Comparator<? super E> comparator;
    // 修改次數
    transient int modCount = 0; // non-private to simplify nested class access

(1)默認容量是11;
(2)queue,元素存儲在數組中,這跟我們之前說的堆一般使用數組來存儲是一致的;
(3)comparator,比較器,在優先級隊列中,也有兩種方式比較元素,一種是元素的自然順序,一種是通過比較器來比較;
(4)modCount,修改次數,有這個屬性表示PriorityQueue也是fast-fail的,像ArrayList、HashMap中都有一個屬性叫modCount,每次對集合的修改這個值都會加1,在遍歷前記錄這個值到expectedModCount中,遍歷中檢查兩者是否一致,如果出現不一致就說明有修改,則拋出ConcurrentModificationException異常。

5.2.2 入列

入隊有兩個方法,add(E e)和offer(E e),在PriorityQueue實現中兩者是一致的,add(E e)也是調用的offer(E e)。

    public boolean add(E e) {
        return offer(e);
    }


    public boolean offer(E e) {
        // 不支持null元素
        if (e == null)
            throw new NullPointerException();
        modCount++;
        // 取size
        int i = size;
        // 元素個數達到最大容量了,擴容
        if (i >= queue.length)
            grow(i + 1);
        // 元素個數加1
        size = i + 1;
        // 如果還沒有元素
        // 直接插入到數組第一個位置
        // 這裏跟我們之前講堆不一樣了
        // java裏面是從0開始的
        // 我們說的堆是從1開始的
        if (i == 0)
            queue[0] = e;
        else
            // 否則,插入元素到數組size的位置,也就是最後一個元素的下一位
            // 注意這裏的size不是數組大小,而是元素個數
            // 然後,再做自下而上的堆化
            siftUp(i, e);
        return true;
    }

    //自下而上堆化
    private void siftUp(int k, E x) {
        // 根據是否有比較器,使用不同的方法
        if (comparator != null)
            siftUpUsingComparator(k, x);
        else
            siftUpComparable(k, x);
    }

    @SuppressWarnings("unchecked")
    private void siftUpComparable(int k, E x) {
        Comparable<? super E> key = (Comparable<? super E>) x;
        while (k > 0) {
            // 找到父節點的位置
            // 因爲元素是從0開始的,所以減1之後再除以2
            int parent = (k - 1) >>> 1;
            // 父節點的值
            Object e = queue[parent];
            // 比較插入的元素與父節點的值
            // 如果比父節點大,則跳出循環
            // 否則交換位置
            if (key.compareTo((E) e) >= 0)
                break;
            // 與父節點交換位置
            queue[k] = e;
            // 現在插入的元素位置移到了父節點的位置
            // 繼續與父節點再比較
            k = parent;
        }
        // 最後找到應該插入的位置,放入元素,最終形成一個最小堆
        queue[k] = key;
    }

(1)入隊不允許null元素;
(2)如果數組不夠用了,先擴容;
(3)如果還沒有元素,就插入下標0的位置;
(4)如果有元素了,就插入到最後一個元素往後的一個位置(實際並沒有插入哈);
(5)自下而上堆化,一直往上跟父節點比較;
(6)如果比父節點小,就與父節點交換位置,直到出現比父節點大爲止;
(7)由此可見,PriorityQueue是一個小頂堆。

5.2.3 擴容

    private void grow(int minCapacity) {
        // 舊容量
        int oldCapacity = queue.length;
        // Double size if small; else grow by 50%
        // 舊容量小於64時,容量翻倍
        // 舊容量大於等於64,容量只增加舊容量的一半
        int newCapacity = oldCapacity + ((oldCapacity < 64) ?
                                         (oldCapacity + 2) :
                                         (oldCapacity >> 1));
        // overflow-conscious code
        // 檢查是否溢出
        if (newCapacity - MAX_ARRAY_SIZE > 0)
            newCapacity = hugeCapacity(minCapacity);
        // 創建出一個新容量大小的新數組並把舊數組元素拷貝過去
        queue = Arrays.copyOf(queue, newCapacity);
    }

    private static int hugeCapacity(int minCapacity) {
        if (minCapacity < 0) // overflow
            throw new OutOfMemoryError();
        return (minCapacity > MAX_ARRAY_SIZE) ?
            Integer.MAX_VALUE :
            MAX_ARRAY_SIZE;
    }

5.2.4 出隊

出隊有兩個方法,remove()和poll(),remove()也是調用的poll(),只是沒有元素的時候拋出異常。

    public E remove() {
        // 調用poll彈出隊首元素
        E x = poll();
        if (x != null)
            // 有元素就返回彈出的元素
            return x;
        else
            // 沒有元素就拋出異常
            throw new NoSuchElementException();
    }

    @SuppressWarnings("unchecked")
    public E poll() {
        // 如果size爲0,說明沒有元素
        if (size == 0)
            return null;
        // 彈出元素,元素個數減1
        int s = --size;
        modCount++;
        // 隊列首元素
        E result = (E) queue[0];
        // 隊列末元素
        E x = (E) queue[s];
        // 將隊列末元素刪除
        queue[s] = null;
        // 如果彈出元素後還有元素
        if (s != 0)
            // 將隊列末元素移到隊列首
            // 再做自上而下的堆化
            siftDown(0, x);
        // 返回彈出的元素
        return result;
    }

    //自上而下堆化
    private void siftDown(int k, E x) {
        // 根據是否有比較器,選擇不同的方法
        if (comparator != null)
            siftDownUsingComparator(k, x);
        else
            siftDownComparable(k, x);
    }

    @SuppressWarnings("unchecked")
    private void siftDownComparable(int k, E x) {
        Comparable<? super E> key = (Comparable<? super E>)x;
        // 只需要比較一半就行了,因爲葉子節點佔了一半的元素
        int half = size >>> 1;        // loop while a non-leaf
        while (k < half) {
            // 尋找子節點的位置,這裏加1是因爲元素從0號位置開始
            int child = (k << 1) + 1; // assume left child is least
            // 左子節點的值
            Object c = queue[child];
            // 右子節點的位置
            int right = child + 1;
            if (right < size &&
                ((Comparable<? super E>) c).compareTo((E) queue[right]) > 0)
                // 左右節點取其小者
                c = queue[child = right];
            // 如果比子節點都小,則結束
            if (key.compareTo((E) c) <= 0)
                break;
            // 如果比最小的子節點大,則交換位置
            queue[k] = c;
            // 指針移到最小子節點的位置繼續往下比較
            k = child;
        }
        // 找到正確的位置,放入元素
        queue[k] = key;
    }

(1)將隊列首元素彈出;
(2)將隊列末元素移到隊列首;
(3)自上而下堆化,一直往下與最小的子節點比較;
(4)如果比最小的子節點大,就交換位置,再繼續與最小的子節點比較;
(5)如果比最小的子節點小,就不用交換位置了,堆化結束;
(6)這就是堆中的刪除堆頂元素;

5.2.5 取隊列首元素

取隊首元素有兩個方法,element()和peek(),element()也是調用的peek(),只是沒取到元素時拋出異常。

    public E element() {
        E x = peek();
        if (x != null)
            return x;
        else
            throw new NoSuchElementException();
    }

    public E peek() {
        return (size == 0) ? null : (E) queue[0];
    }

5.2.6 優先隊列總結

(1)PriorityQueue是一個小頂堆;
(2)PriorityQueue是非線程安全的;
(3)PriorityQueue不是有序的,只有堆頂存儲着最小的元素;
(4)入隊就是堆的插入元素的實現;
(5)出隊就是堆的刪除元素的實現;

6. ConcurrentLinkedQueue

6.1 簡介

ConcurrentLinkedQueue只實現了Queue接口,並沒有實現BlockingQueue接口,所以它不是阻塞隊列,也不能用於線程池中,但是它是線程安全的,可用於多線程環境中。

6.2 源碼分析

6.2.1 主要屬性

    // 鏈表頭節點
    private transient volatile Node<E> head;
    // 鏈表尾節點
    private transient volatile Node<E> tail;

就這兩個主要屬性,一個頭節點,一個尾節點。

6.2.2 主要內部類

    private static class Node<E> {
        volatile E item;
        volatile Node<E> next;
    }

典型的單鏈表結構,非常純粹。

6.2.3 主要構造方法

    public ConcurrentLinkedQueue() {
        // 初始化頭尾節點
        head = tail = new Node<E>(null);
    }

    public ConcurrentLinkedQueue(Collection<? extends E> c) {
        Node<E> h = null, t = null;
        // 遍歷c,並把它元素全部添加到單鏈表中
        for (E e : c) {
            checkNotNull(e);
            Node<E> newNode = new Node<E>(e);
            if (h == null)
                h = t = newNode;
            else {
                t.lazySetNext(newNode);
                t = newNode;
            }
        }

        if (h == null)
            h = t = new Node<E>(null);
        head = h;
        tail = t;
    }

6.2.4 入隊

因爲它不是阻塞隊列,所以只有兩個入隊的方法,add(e)和offer(e)。因爲是無界隊列,所以add(e)方法也不用拋出異常了。

    public boolean add(E e) {
        return offer(e);
    }

    public boolean offer(E e) {
        // 不能添加空元素
        checkNotNull(e);
        // 新節點
        final Node<E> newNode = new Node<E>(e);
        // 入隊到鏈表尾
        for (Node<E> t = tail, p = t;;) {
            Node<E> q = p.next;
            // 如果沒有next,說明到鏈表尾部了,就入隊
            if (q == null) {
                // CAS更新p的next爲新節點
                // 如果成功了,就返回true
                // 如果不成功就重新取next重新嘗試
                if (p.casNext(null, newNode)) {
                    // 如果p不等於t,說明有其它線程先一步更新tail
                    // 也就不會走到q==null這個分支了
                    // p取到的可能是t後面的值
                    // 把tail原子更新爲新節點
                    if (p != t) // hop two nodes at a time
                        casTail(t, newNode);  // Failure is OK.
                    // 返回入隊成功
                    return true;
                }
            }
            else if (p == q)
                // 如果p的next等於p,說明p已經被刪除了(已經出隊了)
                // 重新設置p的值
                p = (t != (t = tail)) ? t : head;
            else
                // t後面還有值,重新設置p的值
                p = (p != t && t != (t = tail)) ? t : q;
        }
    }

入隊整個流程還是比較清晰的,這裏有個前提是出隊時會把出隊的那個節點的next設置爲節點本身。
(1)定位到鏈表尾部,嘗試把新節點放到後面;
(2)如果尾部變化了,則重新獲取尾部,再重試;

6.2.5 出隊

    public E remove() {
        E x = poll();
        if (x != null)
            return x;
        else
            throw new NoSuchElementException();
    }

    public E poll() {
        restartFromHead:
        for (;;) {
            // 嘗試彈出鏈表的頭節點
            for (Node<E> h = head, p = h, q;;) {
                E item = p.item;
                // 如果節點的值不爲空,並且將其更新爲null成功了
                if (item != null && p.casItem(item, null)) {
                    // 如果頭節點變了,則不會走到這個分支
                    // 會先走下面的分支拿到新的頭節點
                    // 這時候p就不等於h了,就更新頭節點
                    // 在updateHead()中會把head更新爲新節點
                    // 並讓head的next指向其自己
                    if (p != h) // hop two nodes at a time
                        updateHead(h, ((q = p.next) != null) ? q : p);
                    // 上面的casItem()成功,就可以返回出隊的元素了
                    return item;
                }
                // 下面三個分支說明頭節點變了
                // 且p的item肯定爲null
                else if ((q = p.next) == null) {
                    // 如果p的next爲空,說明隊列中沒有元素了
                    // 更新h爲p,也就是空元素的節點
                    updateHead(h, p);
                    // 返回null
                    return null;
                }
                else if (p == q)
                    // 如果p等於p的next,說明p已經出隊了,重試
                    continue restartFromHead;
                else
                    // 將p設置爲p的next
                    p = q;
            }
        }
    }

    // 更新頭節點的方法
    final void updateHead(Node<E> h, Node<E> p) {
        // 原子更新h爲p成功後,延遲更新h的next爲它自己
        // 這裏用延遲更新是安全的,因爲head節點已經變了
        // 只要入隊出隊的時候檢查head有沒有變化就行了,跟它的next關係不大
        if (h != p && casHead(h, p))
            h.lazySetNext(h);
    }

6.2.6 ConcurrentLinkedQueue總結:

(1)ConcurrentLinkedQueue不是阻塞隊列;
(2)ConcurrentLinkedQueue不能用在線程池中;
(3)ConcurrentLinkedQueue使用(CAS+自旋)更新頭尾節點控制出隊入隊操作;
ConcurrentLinkedQueue與LinkedBlockingQueue對比?
(1)兩者都是線程安全的隊列;
(2)兩者都可以實現取元素時隊列爲空直接返回null,後者的poll()方法可以實現此功能;
(3)前者全程無鎖,後者全部都是使用重入鎖控制的;
(4)前者效率較高,後者效率較低;
(5)前者無法實現如果隊列爲空等待元素到來的操作;
(6)前者是非阻塞隊列,後者是阻塞隊列;
(7)前者無法用在線程池中,後者可以;

轉自:
https://segmentfault.com/a/1190000019345930?utm_source=tag-newest
https://mp.weixin.qq.com/s/kpBAIRoMvqPzC-wfLELP3Q
https://www.jianshu.com/p/d9e8c8cd22af

發佈了86 篇原創文章 · 獲贊 25 · 訪問量 6萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章