JDK命令行工具的監控

原創 lw_yang 2020-07-04 05:41

JVM參數類型

標準參數

  • -help
  • -server -client
  • -version -showversion
  • -cp -classpath

X參數

  • -Xint 解釋執行
  • -Xcomp 第一次執行使用就編譯成本地代碼 （interpret）
  • -Xmixed 混合模式，JVM自己決定是否編譯成本地代碼（compile）
    在這裏插入圖片描述

XX參數

Boolean類型

  • 格式：-XX：[+-] <name> 表示啓動或者禁用name屬性
  • 例如：
    • -XX:+UserConcMarkSweepGC 啓用CMS垃圾收集器
    • -XX:+UseG1GC 啓用G1垃圾收集器

非Boolean類型

  • 格式：-XX:<name>=<value> 表示name屬性的值是vlaue
  • 例如：
    • -XX:MaxGCPauseMillis=500 表示GC最大停頓時間500ms
    • -XX:GCTimeRatio=19

-Xmx -Xms 不是X參數，而是XX參數
-Xms 等價於 -XX:InitialHeapSize
-Xmx 等價於 -XX:MaxHeapSize

jinfo查看JVM運行參數

  • -XX：+PrintFlagsInitial
  • -XX：+PrintFlagsFinal
  • -XX：UnlockExperimentalVMOptions 解鎖實驗參數
  • -XX：+UnlockDiagnosticVMOptions 解鎖診斷參數
  • -XX：+PrintCommandLineFlags 打印命令行參數

【命令格式】
在這裏插入圖片描述
在這裏插入圖片描述

  • 查看最大內存：jinfo -flag MaxHeapSize <pid>
    在這裏插入圖片描述
  • 查看垃圾回收器：jinfo -flag <GC> <pid>
    • jinfo -flag UseConcMarkSweepGC 2444
      在這裏插入圖片描述
    • jinfo -flag UseG1GC 2444在這裏插入圖片描述
    • jinfo -flag UseParallelGC 2444在這裏插入圖片描述

jstat查看JVM統計信息

【命令格式】
在這裏插入圖片描述
在這裏插入圖片描述

  • -class ：jstat -class 2444 1000 10
    在這裏插入圖片描述
    查看已加載類和卸載類的個數和大小，以及加載和卸載花費的時間

  • -gc：jstat -gc 2444 1000 3
    在這裏插入圖片描述
    在這裏插入圖片描述
    S0U、S1C、S0U、S1U：S0和S1的總量和使用量（Capacity，Utilization）
    EC、EU：Eden區總量和使用量
    OC、OU：Old區總量和使用量
    MC、MU：Metaspace區總量和使用量
    CCSC、CCSU：壓縮類空間總量和使用量
    YGC、YGCT：YoungGC次數與時間
    FGC、FGCT：FullGC次數與時間
    GCT：總GC時間

  • -compile：jstat -compiler 2444
    在這裏插入圖片描述

jmap 分析內存溢出

演示內存溢出

@RestController
public class MemoryController {

    private List<User> userList = new ArrayList<>();
    private List<Class<?>> classList = new ArrayList<>();

    //-Xmx32M -Xms32M
    // heap溢出
    @GetMapping("/heap")
    public String heap(){
        int i = 0;

        while (true){
            userList.add(new User(i++, UUID.randomUUID().toString()));
        }
    }

    //-XX:MetaspaceSize=32M -XX:MetaspaceSize=32M
    // metaspace溢出
    @GetMapping("/nonheap")
    public String nonHeap(){
        int i = 0;
        while (true){
        	// 使用ASM工具生成字節碼文件	
            classList.addAll(MetaSpace.createClasses());
        }
    }
}

heap溢出：
在這裏插入圖片描述
metaspace溢出：
在這裏插入圖片描述

導出內存映像文件

  • 內存溢出自動導出

    • -XX:+HeapDumpOnOutOfMemoryError
    • -XX:HeapDumpPath=./

  • jmap手動導出
    在這裏插入圖片描述

    • jmap -dump:format=b,file=heap.bin 15988
      在這裏插入圖片描述
    • jmap -heap 15988
      在這裏插入圖片描述

jstack查看線程狀態

在這裏插入圖片描述

jstack 1388

C:\Users\where\Desktop>jstack 1388
2019-08-11 22:22:44
Full thread dump Java HotSpot(TM) 64-Bit Server VM (25.152-b16 mixed mode):

"DestroyJavaVM" #41 prio=5 os_prio=0 tid=0x000000001876c800 nid=0x238c waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"http-nio-8080-Acceptor" #39 daemon prio=5 os_prio=0 tid=0x000000001876a000 nid=0xb6c runnable [0x000000001a98f000]
   java.lang.Thread.State: RUNNABLE
        at sun.nio.ch.ServerSocketChannelImpl.accept0(Native Method)
        at sun.nio.ch.ServerSocketChannelImpl.accept(ServerSocketChannelImpl.java:422)
        at sun.nio.ch.ServerSocketChannelImpl.accept(ServerSocketChannelImpl.java:250)
        - locked <0x00000000ff76a6e8> (a java.lang.Object)
        at org.apache.tomcat.util.net.NioEndpoint.serverSocketAccept(NioEndpoint.java:463)
        at org.apache.tomcat.util.net.NioEndpoint.serverSocketAccept(NioEndpoint.java:73)
        at org.apache.tomcat.util.net.Acceptor.run(Acceptor.java:95)
        at java.lang.Thread.run(Thread.java:748)

"http-nio-8080-ClientPoller" #38 daemon prio=5 os_prio=0 tid=0x0000000018771000 nid=0x31d8 runnable [0x000000001a88e000]
   java.lang.Thread.State: RUNNABLE
        at sun.nio.ch.WindowsSelectorImpl$SubSelector.poll0(Native Method)
        at sun.nio.ch.WindowsSelectorImpl$SubSelector.poll(WindowsSelectorImpl.java:296)
        at sun.nio.ch.WindowsSelectorImpl$SubSelector.access$400(WindowsSelectorImpl.java:278)
        at sun.nio.ch.WindowsSelectorImpl.doSelect(WindowsSelectorImpl.java:159)
        at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:86)
        - locked <0x00000000ff8454f0> (a sun.nio.ch.Util$3)
        - locked <0x00000000ff8454e0> (a java.util.Collections$UnmodifiableSet)
        - locked <0x00000000ff845390> (a sun.nio.ch.WindowsSelectorImpl)
        at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:97)
        at org.apache.tomcat.util.net.NioEndpoint$Poller.run(NioEndpoint.java:708)
        at java.lang.Thread.run(Thread.java:748)

"http-nio-8080-exec-1" #28 daemon prio=5 os_prio=0 tid=0x000000001875f800 nid=0x1980 waiting on condition [0x0000000019e8e000]
   java.lang.Thread.State: WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000ff81af68> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
        at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:107)
        at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:33)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:748)

"http-nio-8080-BlockPoller" #27 daemon prio=5 os_prio=0 tid=0x000000001875e000 nid=0x3c5c runnable [0x0000000019d8e000]
   java.lang.Thread.State: RUNNABLE
        at sun.nio.ch.WindowsSelectorImpl$SubSelector.poll0(Native Method)
        at sun.nio.ch.WindowsSelectorImpl$SubSelector.poll(WindowsSelectorImpl.java:296)
        at sun.nio.ch.WindowsSelectorImpl$SubSelector.access$400(WindowsSelectorImpl.java:278)
        at sun.nio.ch.WindowsSelectorImpl.doSelect(WindowsSelectorImpl.java:159)
        at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:86)
        - locked <0x00000000ff775c70> (a sun.nio.ch.Util$3)
        - locked <0x00000000ff7753d8> (a java.util.Collections$UnmodifiableSet)
        - locked <0x00000000ff775220> (a sun.nio.ch.WindowsSelectorImpl)
        at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:97)
        at org.apache.tomcat.util.net.NioBlockingSelector$BlockPoller.run(NioBlockingSelector.java:313)

"container-0" #26 prio=5 os_prio=0 tid=0x00000000186a1800 nid=0x14c4 waiting on condition [0x0000000019a8f000]
   java.lang.Thread.State: TIMED_WAITING (sleeping)
        at java.lang.Thread.sleep(Native Method)
        at org.apache.catalina.core.StandardServer.await(StandardServer.java:570)
        at org.springframework.boot.web.embedded.tomcat.TomcatWebServer$1.run(TomcatWebServer.java:179)

"Catalina-utility-1" #24 prio=1 os_prio=-2 tid=0x00000000186be000 nid=0x3dcc waiting on condition [0x000000001988e000]
   java.lang.Thread.State: TIMED_WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000fee26350> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1093)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
        at java.lang.Thread.run(Thread.java:748)

"RMI Scheduler(0)" #18 daemon prio=5 os_prio=0 tid=0x0000000016701800 nid=0x1d6c waiting on condition [0x00000000177bf000]
   java.lang.Thread.State: TIMED_WAITING (parking)
        at sun.misc.Unsafe.park(Native Method)
        - parking to wait for  <0x00000000fe051338> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
        at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215)
        at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1093)
        at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809)
        at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)

"RMI TCP Accept-61297" #14 daemon prio=5 os_prio=0 tid=0x000000001649e800 nid=0x2f6c runnable [0x0000000016d0e000]
   java.lang.Thread.State: RUNNABLE
        at java.net.DualStackPlainSocketImpl.accept0(Native Method)
        at java.net.DualStackPlainSocketImpl.socketAccept(DualStackPlainSocketImpl.java:131)
        at java.net.AbstractPlainSocketImpl.accept(AbstractPlainSocketImpl.java:409)
        at java.net.PlainSocketImpl.accept(PlainSocketImpl.java:199)
        - locked <0x00000000fe641650> (a java.net.SocksSocketImpl)
        at java.net.ServerSocket.implAccept(ServerSocket.java:545)
        at java.net.ServerSocket.accept(ServerSocket.java:513)
        at sun.rmi.transport.tcp.TCPTransport$AcceptLoop.executeAcceptLoop(TCPTransport.java:400)
        at sun.rmi.transport.tcp.TCPTransport$AcceptLoop.run(TCPTransport.java:372)
        at java.lang.Thread.run(Thread.java:748)

"RMI TCP Accept-0" #13 daemon prio=5 os_prio=0 tid=0x0000000016486000 nid=0x208c runnable [0x0000000016c0f000]
   java.lang.Thread.State: RUNNABLE
        at java.net.DualStackPlainSocketImpl.accept0(Native Method)
        at java.net.DualStackPlainSocketImpl.socketAccept(DualStackPlainSocketImpl.java:131)
        at java.net.AbstractPlainSocketImpl.accept(AbstractPlainSocketImpl.java:409)
        at java.net.PlainSocketImpl.accept(PlainSocketImpl.java:199)
        - locked <0x00000000fe641af8> (a java.net.SocksSocketImpl)
        at java.net.ServerSocket.implAccept(ServerSocket.java:545)
        at java.net.ServerSocket.accept(ServerSocket.java:513)
        at sun.rmi.transport.tcp.TCPTransport$AcceptLoop.executeAcceptLoop(TCPTransport.java:400)
        at sun.rmi.transport.tcp.TCPTransport$AcceptLoop.run(TCPTransport.java:372)
        at java.lang.Thread.run(Thread.java:748)

"Service Thread" #11 daemon prio=9 os_prio=0 tid=0x0000000015966800 nid=0xf58 runnable [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C1 CompilerThread3" #10 daemon prio=9 os_prio=2 tid=0x00000000158c7800 nid=0x33d0 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread2" #9 daemon prio=9 os_prio=2 tid=0x00000000158c5000 nid=0xcc8 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread1" #8 daemon prio=9 os_prio=2 tid=0x00000000158c4000 nid=0x305c waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"C2 CompilerThread0" #7 daemon prio=9 os_prio=2 tid=0x00000000158a6000 nid=0x2194 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Monitor Ctrl-Break" #6 daemon prio=5 os_prio=0 tid=0x00000000158b7000 nid=0x53c runnable [0x0000000015e0f000]
   java.lang.Thread.State: RUNNABLE
        at java.net.SocketInputStream.socketRead0(Native Method)
        at java.net.SocketInputStream.socketRead(SocketInputStream.java:116)
        at java.net.SocketInputStream.read(SocketInputStream.java:171)
        at java.net.SocketInputStream.read(SocketInputStream.java:141)
        at sun.nio.cs.StreamDecoder.readBytes(StreamDecoder.java:284)
        at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:326)
        at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:178)
        - locked <0x00000000fe399b50> (a java.io.InputStreamReader)
        at java.io.InputStreamReader.read(InputStreamReader.java:184)
        at java.io.BufferedReader.fill(BufferedReader.java:161)
        at java.io.BufferedReader.readLine(BufferedReader.java:324)
        - locked <0x00000000fe399b50> (a java.io.InputStreamReader)
        at java.io.BufferedReader.readLine(BufferedReader.java:389)
        at com.intellij.rt.execution.application.AppMainV2$1.run(AppMainV2.java:64)

"Attach Listener" #5 daemon prio=5 os_prio=2 tid=0x00000000156a2800 nid=0x940 waiting on condition [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Signal Dispatcher" #4 daemon prio=9 os_prio=2 tid=0x000000001564d000 nid=0x3be4 runnable [0x0000000000000000]
   java.lang.Thread.State: RUNNABLE

"Finalizer" #3 daemon prio=8 os_prio=1 tid=0x0000000013743800 nid=0x9e8 in Object.wait() [0x0000000015b0e000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        - waiting on <0x00000000fe63aef0> (a java.lang.ref.ReferenceQueue$Lock)
        at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:143)
        - locked <0x00000000fe63aef0> (a java.lang.ref.ReferenceQueue$Lock)
        at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:164)
        at java.lang.ref.Finalizer$FinalizerThread.run(Finalizer.java:209)

"Reference Handler" #2 daemon prio=10 os_prio=2 tid=0x0000000003089800 nid=0x3d38 in Object.wait() [0x000000001560e000]
   java.lang.Thread.State: WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        - waiting on <0x00000000fe399bf8> (a java.lang.ref.Reference$Lock)
        at java.lang.Object.wait(Object.java:502)
        at java.lang.ref.Reference.tryHandlePending(Reference.java:191)
        - locked <0x00000000fe399bf8> (a java.lang.ref.Reference$Lock)
        at java.lang.ref.Reference$ReferenceHandler.run(Reference.java:153)

"VM Thread" os_prio=2 tid=0x0000000013738000 nid=0xf8 runnable

"GC task thread#0 (ParallelGC)" os_prio=0 tid=0x0000000002fab000 nid=0x1614 runnable

"GC task thread#1 (ParallelGC)" os_prio=0 tid=0x0000000002fad000 nid=0x29e8 runnable

"GC task thread#2 (ParallelGC)" os_prio=0 tid=0x0000000002fae800 nid=0x3a74 runnable

"GC task thread#3 (ParallelGC)" os_prio=0 tid=0x0000000002fb0000 nid=0x910 runnable

"GC task thread#4 (ParallelGC)" os_prio=0 tid=0x0000000002fb2000 nid=0x3fe8 runnable

"GC task thread#5 (ParallelGC)" os_prio=0 tid=0x0000000002fb4800 nid=0x134c runnable

"GC task thread#6 (ParallelGC)" os_prio=0 tid=0x0000000002fb7800 nid=0x3890 runnable

"GC task thread#7 (ParallelGC)" os_prio=0 tid=0x0000000002fb8800 nid=0x3a8 runnable

"VM Periodic Task Thread" os_prio=2 tid=0x00000000164ae000 nid=0x748 waiting on condition

JNI global references: 1034
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

解鎖高效創新：IPD策略如何重塑產品開發流程

IPD（集成產品開發）涵蓋了產品從創意提出到研發、生產、運營等，包含了產品開發到營銷運營的整個過程。圍繞產品（或項目）生命週期的過程的管理模式，是一套生產流程，更是時下國際先進的管理體系。IPD（集成產品開發）以產品成功、用戶滿意爲最終目標

原創 2024-05-16 02:07:01

openGemini v1.2.0版本正式發佈，IoT 場景性能大幅提升！

本文分享自華爲雲社區《openGemini v1.2.0版本正式發佈，IoT 場景性能大幅提升！》，作者：華爲雲開源。 在openGemini v1.2.0版本中，我們爲您帶來了一系列令人振奮的內核優化，將您的體驗提升到新的高度，這包括

原創 2024-05-15 10:59:42

關於Java Chassis 3的契約優先（API First）開發

本文分享自華爲雲社區《Java Chassis 3技術解密：契約優先（API First）開發》，作者： liubao68。 契約優先（API First）開發是指應用程序開發過程中，將API設計作爲第一優先級的任務。契約優先開發隨着Web

原創 2024-05-09 11:21:06

GLM國產大模型訓練加速：高效性能與成本優化的實踐

隨着人工智能技術的不斷進步，大模型的訓練成爲了推動深度學習領域發展的重要力量。然而，傳統的訓練方式往往面臨着性能瓶頸和高昂的成本問題，這使得許多研究者和開發者望而卻步。爲了解決這一難題，我們探索了使用OneFlow框架對GLM國產大模型進行

原創 2024-05-07 23:30:09

營銷權益平臺春晚技術探究| 京東雲技術團隊

一、引言 在當前快速發展的互聯網環境中，許多企業和服務都面臨着高併發場景的挑戰。隨着用戶規模不斷增長，對於同一時間內大量用戶請求的處理能力、系統性能、穩定性和容錯性的要求也日益提高。高併發場景對系統架構設計、數據庫設計、緩存策略、自動化運

原創 2024-05-07 23:17:14

01-電商商品中心解密：僅憑SKU真的足夠嗎？

在電子商務系統中，SKU（Stock Keeping Unit，庫存單位）和SPU（Standard Product Unit，標準產品單位）是兩種不同的概念，它們共同用於商品管理和庫存控制。雖然理論上可以只使用SKU來管理商品，但在實際應

原創 2024-05-07 01:08:03

從原始邊列表到鄰接矩陣Python實現圖數據處理的完整指南

本文分享自華爲雲社區《從原始邊列表到鄰接矩陣Python實現圖數據處理的完整指南》，作者： 檸檬味擁抱。 在圖論和網絡分析中，圖是一種非常重要的數據結構，它由節點（或頂點）和連接這些節點的邊組成。在Python中，我們可以使用鄰接矩陣來表示

原創 2024-04-30 10:34:05

什麼是IPD項目管理模式？聊聊IPD下的產品研發流程

IPD（集成產品開發）涵蓋了產品從創意提出到研發、生產、運營等，包含了產品開發到營銷運營的整個過程。圍繞產品（或項目）生命週期的過程的管理模式，是一套生產流程，更是時下國際先進的管理體系。IPD（集成產品開發）以產品成功、用戶滿意爲最終目標

原創 2024-04-27 00:52:14

從零開始學架構V2-初識架構設計-1

一、架構設計的主要目的 爲了解決軟件系統複雜度帶來的問題 二、複雜性來源 軟件的架構設計是一個非常複雜的過程；基於業務&技術現狀、公司成本、團隊規模、團隊技術能力、近三年業務發展規模預測、技術發展趨勢等條件篩選出合適的技術、編寫多種架構設計

原創 2024-04-25 23:56:25

庫存領域核心能力--庫存預佔 建設實踐

前言 本文總結庫存領域建設庫存預佔能力時遇到的問題以及解決方案。感謝【金鵬】、【孫靜】、【陳瑞】同學在本文撰寫中提供的內容及幫助！ 1、庫存預佔業務概述 消費者拍下商品訂單後，庫存系統先爲該訂單預留庫存，這個預留庫存的動作被稱爲庫存預佔

原創 2024-04-18 23:17:21

愛奇藝APP Android低端機性能優化

01    背景介紹 在智能手機市場上，高端機型經常備受矚目，但低端機型亦佔據了不可忽視的份額。衆多廠商爲滿足低端市場的需求，不斷推出低配系列手機。另外過去幾年的中高端

原創 2024-04-16 01:06:42

美團外賣基於GPU的向量檢索系統實踐

到家搜索業務具有數據量大、過濾比高等特點，爲了在保證高召回率的同時進一步提高檢索性能，美團到家搜索技術團隊與基礎研發機器學習平臺團隊基於GPU實現了支持向量+標量混合檢索的通用檢索系統，召回率與檢索性能均有較大提升。本文將介紹我們在GPU

原創 2024-04-12 21:15:18

RAG應用開發實戰(01)-RAG應用框架和解析器

1 開源解析和拆分文檔 第三方的工具去對文件解析拆分，去將我們的文件內容給提取出來，並將我們的文檔內容去拆分成一個小的chunk。常見的PDF word mark down, JSON、HTML。都可以有很好的一些模塊去把這些文件去進行一個

原創 2024-04-12 01:06:38

直觀易用的大模型開發框架LangChain，你會了沒？

目前LangChain框架在集團大模型接入手冊中的學習案例有限，爲了讓大家可以快速系統地瞭解LangChain大模型框架並開發，產出此文章。本文章包含了LangChain的簡介、基本組件和可跑的代碼案例（包含Embedding、Com

原創 2024-04-11 11:15:54

大量數據如何做分頁處理

本文分享自華爲雲社區《應用中大量數據的分頁處理》，作者：碼樂。 簡介 大批量數據的展示一直被視爲一個必須要解決的問題。 一個經典的思想就是分批展示和處理它們。 1 查詢時外鍵的處理 如果在django model 中模型使用了外鍵，通過

原創 2024-04-10 10:33:03