【轉】32位程序使用大內存

原文:

對 .NET程序2G虛擬地址緊張崩潰 的最後一次反思 - 一線碼農 - 博客園 (cnblogs.com)

https://www.cnblogs.com/huangxincheng/p/17853851.html

 

第1步:使用 DnSpy工具修改exe的文件頭 Large Address Aware 

第2步:開始操作系統的支持

 

一:背景

1. 講故事

最近接連遇到了幾起 2G 虛擬地址緊張 導致的程序崩潰,基本上 90% 都集中在醫療行業,真的很無語,他們用的都是一些上古的 XP,Windows7 x86,我也知道技術人很難也基本無法推動硬件系統和設備的升級,這裏蘊含了巨大的人情世故。

寫這一篇的目的是想系統化的整理一下如何配置 3G 開關讓程序喫到更多的內存,讓程序崩潰的不那麼頻繁一些,以及如何驗證是否成功開啓!

二:32位操作系統

1. 測試代碼

首先大家要有一個理念:就是 32bit系統上跑的程序,默認只能喫到 2G 內存,因爲這涉及到公平,用戶態喫2G,內核態喫2G,爲了方便演示,向一個 List 塞入 5000w 的 string,大概佔用 2G 內存,然後把程序跑在 Windows7 32bit 操作系統上。


        static void Main(string[] args)
        {
            var list = new List<string>();

            for (int i = 0; i < 50000000; i++)
            {
                list.Add(i.ToString());

                if (i % 10000 == 0) { Console.WriteLine($"i={i}"); }
            }
            Console.WriteLine("ok");
            Console.ReadLine();
        }

從圖中可以清楚的看到當內存到了631M 的時候就扛不住了,可能有些朋友好奇,爲什麼才這麼點就不行了,這是因爲 List 的底層是 2倍 擴容,所以內存大概會漲到 0.63G + 1.2G = 1.83G

有些朋友可能會問,這不是還沒到2G嗎?一般來說內存到了 1.2G+ 的時候崩潰風險就會劇增,這個要謹記!

2. 如何解決

剛纔也說了,醫療行業現狀如此,只能通過人情世故去推動,那這 2G 數據真的無處安放嗎? 這時候就只能啓動 3G 開關,那如何啓動呢?

  1. 開啓程序級的 Large Address Aware

這個 Large Address Aware 字段俗稱大地址,途徑就是在 PE 頭裏打開一個開關,讓Windows加載器決定是否給程序打開 3G 的綠色通道。

當然看 PE頭 的工具有很多,對於.NET程序個人感覺最好的就是用 DnSpy,它把 File Header 中的 Characteristics 字段具化了,我們選中 Large Address Aware 複選框然後保存,截圖如下:

  1. 開啓機器級別 3G 開關

在32bit操作系統上讓用戶態程序喫到 3G 內存這對操作系統來說是非常謹慎的,畢竟這對內核態是非常不公平的,言外之意就是讓出自己的 1G 給用戶態,這騷操作可能就會把自己坑慘,謹慎起見需要人工開啓機器級別的 3G 開關,命令如下:


bcdedit /set IncreaseUserVa 3072

做了這兩步之後,繼續讓程序跑起來,截圖如下:

從圖中可以清晰的看到,終於有出息了。

更多操作系統配置,可參考這篇文章:https://www.autodesk.com.cn/support/technical/article/caas/sfdcarticles/sfdcarticles/CHS/How-to-enable-a-3GB-switch-on-Windows-Vista-Windows-7-or-Windows-XP-s.html?v=2018

3. 如何驗證是否開啓了 3G

這確實是一個好問題,最簡單的方式就是用!address 觀察下地址空間。


0:000> !address

  BaseAddr EndAddr+1 RgnSize     Type       State                 Protect             Usage
-----------------------------------------------------------------------------------------------
...
+ bffde000 bffdf000     1000 MEM_PRIVATE MEM_COMMIT  PAGE_READWRITE                     TEB        [~0; aa4.fb8]
+ bffdf000 bffe0000     1000 MEM_PRIVATE MEM_COMMIT  PAGE_READWRITE                     PEB        [aa4]
+ bffe0000 bfff0000    10000 MEM_PRIVATE MEM_RESERVE PAGE_NOACCESS                      <unknown>  

0:000> ? bfff0000/0x100000
Evaluate expression: 3071 = 00000bff

上面卦中的 bfff0000 轉換過來就是 3G,如果你看到的是這個值,那就恭喜你啦!

如果有朋友想問如何驗證 dump程序是否開啓了大地址,這個可以用windbg提供的 !dh 命令。


0:000> lm
start    end        module name
001e0000 001e8000   ConsoleApp4 C (pdb symbols)          D:\code\MyApplication\ConsoleApp4\obj\x86\Debug\ConsoleApp4.pdb
66dd0000 678c8000   mscorlib_ni   (deferred)             
678d0000 67e61000   mscorwks   (deferred)             
6c7a0000 6c83b000   msvcr80    (deferred)  
...
0:000> !dh ConsoleApp4

File Type: EXECUTABLE IMAGE
FILE HEADER VALUES
     14C machine (i386)
       3 number of sections
EDB20AC7 time date stamp
       0 file pointer to symbol table
       0 number of symbols
      E0 size of optional header
     122 characteristics
            Executable
            App can handle >2gb addresses
            32 bit word machine

如果看到上面卦中的 App can handle >2gb addresses 字樣就表示你開啓成功啦!

三:64位操作系統

1. 如何喫更多內存

在 x64系統上就方便多了, 只需要做第一步開啓 Large Address Aware 即可,畢竟 x64系統 的虛擬地址空間不要太充足,在 48根地址總線上就是2的48次方,所以開啓大地址後,會給 x32 程序4G的尋址空間,即 2 的 32 次方。

接下來直接把剛纔的 ConsoleApp4.exe 程序從 Windows7 x86 搬遷到 Windows 10 x64 系統上,然後用 windbg 附加運行, 跑完後使用 !address 查看。


0:007> !address 

  BaseAddr EndAddr+1 RgnSize     Type       State                 Protect             Usage
-----------------------------------------------------------------------------------------------
+        0   c60000   c60000             MEM_FREE    PAGE_NOACCESS                      Free     
...
+ ff671000 ff680000     f000             MEM_FREE    PAGE_NOACCESS                      Free       
+ ff680000 ff6b3000    33000 MEM_MAPPED  MEM_COMMIT  PAGE_READONLY                      Other      [NLS Tables]
+ ff6b3000 ffff0000   93d000             MEM_FREE    PAGE_NOACCESS                      Free       

0:007> ? ffff0000 /0x100000
Evaluate expression: 4095 = 00000fff

如果在你的卦中也看到了上面的 ffff0000 ,那就恭喜你,你程序的內存尋址空間擴展到了 4G 。

三:總結

本篇說了這麼多,其實都是一些不得已而爲之的事情,很心酸,這世上很多東西不是靠技術就能解決的,更需要靠人情事故!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章