文件頭(File Header)
Dex文件頭主要包括校驗和以及其他結構的偏移地址和長度信息。
字段名稱 | 偏移值 | 長度 | 描述 |
---|---|---|---|
magic | 0x0 | 8 | 'Magic'值,即魔數字段,格式如”dex/n035/0”,其中的035表示結構的版本。 |
checksum | 0x8 | 4 | 校驗碼。 |
signature | 0xC | 20 | SHA-1簽名。 |
file_size | 0x20 | 4 | Dex文件的總長度。 |
header_size | 0x24 | 4 | 文件頭長度,009版本=0x5C,035版本=0x70。 |
endian_tag | 0x28 | 4 | 標識字節順序的常量,根據這個常量可以判斷文件是否交換了字節順序,缺省情況下=0x78563412。 |
link_size | 0x2C | 4 | 連接段的大小,如果爲0就表示是靜態連接。 |
link_off | 0x30 | 4 | 連接段的開始位置,從本文件頭開始算起。如果連接段的大小爲0,這裏也是0。 |
map_off | 0x34 | 4 | map數據基地址。 |
string_ids_size | 0x38 | 4 | 字符串列表的字符串個數。 |
string_ids_off | 0x3C | 4 | 字符串列表表基地址。 |
type_ids_size | 0x40 | 4 | 類型列表裏類型個數。 |
type_ids_off | 0x44 | 4 | 類型列表基地址。 |
proto_ids_size | 0x48 | 4 | 原型列表裏原型個數。 |
proto_ids_off | 0x4C | 4 | 原型列表基地址。 |
field_ids_size | 0x50 | 4 | 字段列表裏字段個數。 |
field_ids_off | 0x54 | 4 | 字段列表基地址。 |
method_ids_size | 0x58 | 4 | 方法列表裏方法個數。 |
method_ids_off | 0x5C | 4 | 方法列表基地址。 |
class_defs_size | 0x60 | 4 | 類定義類表中類的個數。 |
class_defs_off | 0x64 | 4 | 類定義列表基地址。 |
data_size | 0x68 | 4 | 數據段的大小,必須以4字節對齊。 |
data_off | 0x6C | 4 | 數據段基地址 |
魔數字段
魔數字段,主要就是Dex文件的標識符,它佔用4個字節,在目前的源碼裏是 “dex\n”,它的作用主要是用來標識dex文件的,比如有一個文件也以dex爲後綴名,僅此並不會被認爲是Davlik虛擬機運行的文件,還要判斷這 四個字節。另外Davlik虛擬機也有優化的Dex,也是通過個字段來區分的,當它是優化的Dex文件時,它的值就變成”dey\n”了。根據這四個字 節,就可以識別不同類型的Dex文件了。
跟在“dex\n”後面的是版本字段,主要用來標識Dex文件的版本。目前支持的版本號爲“035\0”,不管是否優化的版本,都是使用這個版本號。
主要用來檢查從這個字段開始到文件結尾,這段數據是否完整,有沒有人修改過,或者傳送過程中是否有出錯等等。通常用來檢查數據是否完整的算法,有 CRC32、有SHA128等,但這裏採用並不是這兩類,而採用一個比較特別的算法,叫做adler32,這是在開源zlib裏常用的算法,用來檢查文件 是否完整性。該算法由MarkAdler發明,其可靠程度跟CRC32差不多,不過還是弱一點點,但它有一個很好的優點,就是使用軟件來計算檢驗碼時比較 CRC32要快很多。可見Android系統,就算法上就已經爲移動設備進行優化了。
Java中可使用java.util.zip.Adler32類做校驗操作
SHA-1簽名字段
dex文件頭裏,前面已經有了面有一個4字節的檢驗字段碼了,爲什麼還會有SHA-1簽名字段呢?不是重複了嗎?可是仔細考慮一下,這樣設計自有道理。因 爲dex文件一般都不是很小,簡單的應用程序都有幾十K,這麼多數據使用一個4字節的檢驗碼,重複的機率還是有的,也就是說當文件裏的數據修改了,還是很 有可能檢驗不出來的。這時檢驗碼就失去了作用,需要使用更加強大的檢驗碼,這就是SHA-1。SHA-1校驗碼有20個字節,比前面的檢驗碼多了16個字 節,幾乎不會不同的文件計算出來的檢驗是一樣的。設計兩個檢驗碼的目的,就是先使用第一個檢驗碼進行快速檢查,這樣可以先把簡單出錯的dex文件丟掉了, 接着再使用第二個複雜的檢驗碼進行復雜計算,驗證文件是否完整,這樣確保執行的文件完整和安全。
SHA(Secure Hash Algorithm, 安全散列算法)是美國國家安全局設計,美國國家標準與技術研究院發佈的一系列密碼散列函數。SHA-1看起來和MD5算法很像,也許是Ron Rivest在SHA-1的設計中起了一定的作用。SHA-1的內部比MD5更強,其摘要比MD5的16字節長4個字節,這個算法成功經受了密碼分析專家 的攻擊,也因而受到密碼學界的廣泛推崇。這個算法在目前網絡上的簽名,BT軟件裏就有大量使用,比如在BT裏要計算是否同一個種子時,就是利用文件的簽名 來判斷的。同一份8G的電影從幾千BT用戶那裏下載,也不會出現錯誤的數據,導致電影不播放。
map_off字段
這個字段主要保存map開始位置,就是從文件頭開始到map數據的長度,通過這個索引就可以找到map數據。map的數據結構如下:
名稱 | 大小 | 說明 |
---|---|---|
size | 4字節 | map裏項的個數 |
list | 變長 | 每一項定義爲12字節,項的個數由上面項大小決定。 |
map數據排列結構定義如下:
<span class="coMULTI" style="line-height: 20px;">/* *Direct-mapped "map_list". */</span> <span class="kw4" style="line-height: 20px;">typedef</span> <span class="kw4" style="line-height: 20px;">struct</span> DexMapList <span class="br0" style="line-height: 20px;">{</span> u4 size<span class="sy0" style="line-height: 20px;">;</span> <span class="coMULTI" style="line-height: 20px;">/* #of entries inlist */</span> DexMapItem list<span class="br0" style="line-height: 20px;">[</span><span class="nu0" style="line-height: 20px;">1</span><span class="br0" style="line-height: 20px;">]</span><span class="sy0" style="line-height: 20px;">;</span> <span class="coMULTI" style="line-height: 20px;">/* entries */</span> <span class="br0" style="line-height: 20px;">}</span>DexMapList<span class="sy0" style="line-height: 20px;">;</span>
每一個map項的結構定義如下:
<span class="coMULTI" style="line-height: 20px;">/* *Direct-mapped "map_item". */</span> <span class="kw4" style="line-height: 20px;">typedef</span> <span class="kw4" style="line-height: 20px;">struct</span> DexMapItem <span class="br0" style="line-height: 20px;">{</span> u2 type<span class="sy0" style="line-height: 20px;">;</span> <span class="coMULTI" style="line-height: 20px;">/* type code (seekDexType* above) */</span> u2 unused<span class="sy0" style="line-height: 20px;">;</span> u4 size<span class="sy0" style="line-height: 20px;">;</span> <span class="coMULTI" style="line-height: 20px;">/* count of items ofthe indicated type */</span> u4 offset<span class="sy0" style="line-height: 20px;">;</span> <span class="coMULTI" style="line-height: 20px;">/* file offset tothe start of data */</span> <span class="br0" style="line-height: 20px;">}</span>DexMapItem<span class="sy0" style="line-height: 20px;">;</span>
DexMapItem結構定義每一項的數據意義:類型、類型個數、類型開始位置。
其中的類型定義如下:
<span class="coMULTI" style="line-height: 20px;">/*map item type codes */</span> <span class="kw2" style="line-height: 20px;">enum</span><span class="br0" style="line-height: 20px;">{</span> kDexTypeHeaderItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x0000</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeStringIdItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x0001</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeTypeIdItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x0002</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeProtoIdItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x0003</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeFieldIdItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x0004</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeMethodIdItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x0005</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeClassDefItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x0006</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeMapList <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x1000</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeTypeList <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x1001</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeAnnotationSetRefList <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x1002</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeAnnotationSetItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x1003</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeClassDataItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x2000</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeCodeItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x2001</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeStringDataItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x2002</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeDebugInfoItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x2003</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeAnnotationItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x2004</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeEncodedArrayItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x2005</span><span class="sy0" style="line-height: 20px;">,</span> kDexTypeAnnotationsDirectoryItem <span class="sy0" style="line-height: 20px;">=</span> <span class="nu12" style="line-height: 20px;">0x2006</span><span class="sy0" style="line-height: 20px;">,</span> <span class="br0" style="line-height: 20px;">}</span><span class="sy0" style="line-height: 20px;">;</span>
從上面的類型可知,它包括了在dex文件裏可能出現的所有類型。可以看出這裏的類型與文件頭裏定義的類型有很多是一樣的,這裏的類型其實就是文件頭裏定義 的類型。其實這個map的數據,就是頭裏類型的重複,完全是爲了檢驗作用而存在的。當Android系統加載dex文件時,如果比較文件頭類型個數與 map裏類型不一致時,就會停止使用這個dex文件
string_ids_size/off字段
這兩個字段主要用來標識字符串資源。源程序編譯後,程序裏用到的字符串都保存在這個數據段裏,以便解釋執行這個dex文件使用。其中包括調用庫函數裏的類名稱描述,用於輸出顯示的字符串等。
string_ids_size標識了有多少個字符串,string_ids_off標識字符串數據區的開始位置。字符串的存儲結構如下:
<span class="coMULTI" style="line-height: 20px;">/* * Direct-mapped "string_id_item". */</span> <span class="kw4" style="line-height: 20px;">typedef</span> <span class="kw4" style="line-height: 20px;">struct</span> DexStringId <span class="br0" style="line-height: 20px;">{</span> u4 stringDataOff<span class="sy0" style="line-height: 20px;">;</span> <span class="coMULTI" style="line-height: 20px;">/* file offset to string_data_item */</span> <span class="br0" style="line-height: 20px;">}</span> DexStringId<span class="sy0" style="line-height: 20px;">;</span>
可以看出這個數據區保存的只是字符串表的地址索引。如果要找到字符串的實際數據,還需要通過個地址索引找到文件的相應開始位置,然後才能得到字符串數據。 每一個字符串項的索引佔用4個字節,因此這個數據區的大小就爲4*string_ids_size。實際數據區中的字符串採用UTF8格式保存。
例如,如果dex文件使用16進制顯示出來內容如下:
063c 696e 6974 3e00
其實際數據則是”<init>\0”
另外這段數據中不僅包括字符串的字符串的內容和結束標誌,在最開頭的位置還標明瞭字符串的長度。上例中第一個字節06就是表示這個字符串有6個字符。
關於字符串的長度有兩點需要注意的地方:
1、關於長度的編碼格式
dex文件裏採用了變長方式表示字符串長度。一個字符串的長度可能是一個字節(小於256)或者4個字節(1G大小以上)。字符串的長度大多數都是小於 256個字節,因此需要使用一種編碼,既可以表示一個字節的長度,也可以表示4個字節的長度,並且1個字節的長度佔絕大多數。能滿足這種表示的編碼方式有 很多,但dex文件裏採用的是uleb128方式。leb128編碼是一種變長編碼,每個字節採用7位來表達原來的數據,最高位用來表示是否有後繼字節。
它的編碼算法如下:
<span class="coMULTI" style="line-height: 20px;">/* * Writes a 32-bit value in unsigned ULEB128 format. * Returns the updated pointer. */</span> DEX_INLINE u1<span class="sy0" style="line-height: 20px;">*</span> writeUnsignedLeb128<span class="br0" style="line-height: 20px;">(</span>u1<span class="sy0" style="line-height: 20px;">*</span> ptr<span class="sy0" style="line-height: 20px;">,</span> u4 data<span class="br0" style="line-height: 20px;">)</span> <span class="br0" style="line-height: 20px;">{</span> <span class="kw1" style="line-height: 20px;">while</span> <span class="br0" style="line-height: 20px;">(</span><span class="kw2" style="line-height: 20px;">true</span><span class="br0" style="line-height: 20px;">)</span> <span class="br0" style="line-height: 20px;">{</span> u1 out <span class="sy0" style="line-height: 20px;">=</span> data <span class="sy0" style="line-height: 20px;">&</span> <span class="nu12" style="line-height: 20px;">0x7f</span><span class="sy0" style="line-height: 20px;">;</span> <span class="kw1" style="line-height: 20px;">if</span> <span class="br0" style="line-height: 20px;">(</span>out <span class="sy0" style="line-height: 20px;">!=</span> data<span class="br0" style="line-height: 20px;">)</span> <span class="br0" style="line-height: 20px;">{</span> <span class="sy0" style="line-height: 20px;">*</span>ptr<span class="sy0" style="line-height: 20px;">++</span> <span class="sy0" style="line-height: 20px;">=</span> out <span class="sy0" style="line-height: 20px;">|</span> <span class="nu12" style="line-height: 20px;">0x80</span><span class="sy0" style="line-height: 20px;">;</span> data <span class="sy0" style="line-height: 20px;">>>=</span> <span class="nu0" style="line-height: 20px;">7</span><span class="sy0" style="line-height: 20px;">;</span> <span class="br0" style="line-height: 20px;">}</span> <span class="kw1" style="line-height: 20px;">else</span> <span class="br0" style="line-height: 20px;">{</span> <span class="sy0" style="line-height: 20px;">*</span>ptr<span class="sy0" style="line-height: 20px;">++</span> <span class="sy0" style="line-height: 20px;">=</span> out<span class="sy0" style="line-height: 20px;">;</span> <span class="kw2" style="line-height: 20px;">break</span><span class="sy0" style="line-height: 20px;">;</span> <span class="br0" style="line-height: 20px;">}</span> <span class="br0" style="line-height: 20px;">}</span> <span class="kw1" style="line-height: 20px;">return</span> ptr<span class="sy0" style="line-height: 20px;">;</span> <span class="br0" style="line-height: 20px;">}</span>
它的解碼算法如下:
<span class="coMULTI" style="line-height: 20px;">/* * Reads an unsigned LEB128 value, updating the given pointer to point * just past the end of the read value. This function tolerates * non-zero high-order bits in the fifth encoded byte. */</span> DEX_INLINE <span class="kw4" style="line-height: 20px;">int</span> readUnsignedLeb128<span class="br0" style="line-height: 20px;">(</span><span class="kw4" style="line-height: 20px;">const</span> u1<span class="sy0" style="line-height: 20px;">**</span> pStream<span class="br0" style="line-height: 20px;">)</span> <span class="br0" style="line-height: 20px;">{</span> <span class="kw4" style="line-height: 20px;">const</span> u1<span class="sy0" style="line-height: 20px;">*</span> ptr <span class="sy0" style="line-height: 20px;">=</span> <span class="sy0" style="line-height: 20px;">*</span>pStream<span class="sy0" style="line-height: 20px;">;</span> <span class="kw4" style="line-height: 20px;">int</span> result <span class="sy0" style="line-height: 20px;">=</span> <span class="sy0" style="line-height: 20px;">*</span><span class="br0" style="line-height: 20px;">(</span>ptr<span class="sy0" style="line-height: 20px;">++</span><span class="br0" style="line-height: 20px;">)</span><span class="sy0" style="line-height: 20px;">;</span> <span class="kw1" style="line-height: 20px;">if</span> <span class="br0" style="line-height: 20px;">(</span>result <span class="sy0" style="line-height: 20px;">></span> <span class="nu12" style="line-height: 20px;">0x7f</span><span class="br0" style="line-height: 20px;">)</span> <span class="br0" style="line-height: 20px;">{</span> <span class="kw4" style="line-height: 20px;">int</span> cur <span class="sy0" style="line-height: 20px;">=</span> <span class="sy0" style="line-height: 20px;">*</span><span class="br0" style="line-height: 20px;">(</span>ptr<span class="sy0" style="line-height: 20px;">++</span><span class="br0" style="line-height: 20px;">)</span><span class="sy0" style="line-height: 20px;">;</span> result <span class="sy0" style="line-height: 20px;">=</span> <span class="br0" style="line-height: 20px;">(</span>result <span class="sy0" style="line-height: 20px;">&</span> <span class="nu12" style="line-height: 20px;">0x7f</span><span class="br0" style="line-height: 20px;">)</span> <span class="sy0" style="line-height: 20px;">|</span> <span class="br0" style="line-height: 20px;">(</span><span class="br0" style="line-height: 20px;">(</span>cur <span class="sy0" style="line-height: 20px;">&</span> <span class="nu12" style="line-height: 20px;">0x7f</span><span class="br0" style="line-height: 20px;">)</span> <span class="sy0" style="line-height: 20px;"><<</span> <span class="nu0" style="line-height: 20px;">7</span><span class="br0" style="line-height: 20px;">)</span><span class="sy0" style="line-height: 20px;">;</span> <span class="kw1" style="line-height: 20px;">if</span> <span class="br0" style="line-height: 20px;">(</span>cur <span class="sy0" style="line-height: 20px;">></span> <span class="nu12" style="line-height: 20px;">0x7f</span><span class="br0" style="line-height: 20px;">)</span> <span class="br0" style="line-height: 20px;">{</span> cur <span class="sy0" style="line-height: 20px;">=</span> <span class="sy0" style="line-height: 20px;">*</span><span class="br0" style="line-height: 20px;">(</span>ptr<span class="sy0" style="line-height: 20px;">++</span><span class="br0" style="line-height: 20px;">)</span><span class="sy0" style="line-height: 20px;">;</span> result <span class="sy0" style="line-height: 20px;">|=</span> <span class="br0" style="line-height: 20px;">(</span>cur <span class="sy0" style="line-height: 20px;">&</span> <span class="nu12" style="line-height: 20px;">0x7f</span><span class="br0" style="line-height: 20px;">)</span> <span class="sy0" style="line-height: 20px;"><<</span> <span class="nu0" style="line-height: 20px;">14</span><span class="sy0" style="line-height: 20px;">;</span> <span class="kw1" style="line-height: 20px;">if</span> <span class="br0" style="line-height: 20px;">(</span>cur <span class="sy0" style="line-height: 20px;">></span> <span class="nu12" style="line-height: 20px;">0x7f</span><span class="br0" style="line-height: 20px;">)</span> <span class="br0" style="line-height: 20px;">{</span> cur <span class="sy0" style="line-height: 20px;">=</span> <span class="sy0" style="line-height: 20px;">*</span><span class="br0" style="line-height: 20px;">(</span>ptr<span class="sy0" style="line-height: 20px;">++</span><span class="br0" style="line-height: 20px;">)</span><span class="sy0" style="line-height: 20px;">;</span> result <span class="sy0" style="line-height: 20px;">|=</span> <span class="br0" style="line-height: 20px;">(</span>cur <span class="sy0" style="line-height: 20px;">&</span> <span class="nu12" style="line-height: 20px;">0x7f</span><span class="br0" style="line-height: 20px;">)</span> <span class="sy0" style="line-height: 20px;"><<</span> <span class="nu0" style="line-height: 20px;">21</span><span class="sy0" style="line-height: 20px;">;</span> <span class="kw1" style="line-height: 20px;">if</span> <span class="br0" style="line-height: 20px;">(</span>cur <span class="sy0" style="line-height: 20px;">></span> <span class="nu12" style="line-height: 20px;">0x7f</span><span class="br0" style="line-height: 20px;">)</span> <span class="br0" style="line-height: 20px;">{</span> <span class="coMULTI" style="line-height: 20px;">/* * Note: We don't check to see if cur is out of * range here, meaning we tolerate garbage in the * high four-order bits. */</span> cur <span class="sy0" style="line-height: 20px;">=</span> <span class="sy0" style="line-height: 20px;">*</span><span class="br0" style="line-height: 20px;">(</span>ptr<span class="sy0" style="line-height: 20px;">++</span><span class="br0" style="line-height: 20px;">)</span><span class="sy0" style="line-height: 20px;">;</span> result <span class="sy0" style="line-height: 20px;">|=</span> cur <span class="sy0" style="line-height: 20px;"><<</span> <span class="nu0" style="line-height: 20px;">28</span><span class="sy0" style="line-height: 20px;">;</span> <span class="br0" style="line-height: 20px;">}</span> <span class="br0" style="line-height: 20px;">}</span> <span class="br0" style="line-height: 20px;">}</span> <span class="br0" style="line-height: 20px;">}</span> <span class="sy0" style="line-height: 20px;">*</span>pStream <span class="sy0" style="line-height: 20px;">=</span> ptr<span class="sy0" style="line-height: 20px;">;</span> <span class="kw1" style="line-height: 20px;">return</span> result<span class="sy0" style="line-height: 20px;">;</span> <span class="br0" style="line-height: 20px;">}</span>
根據上面的算法分析上面例子字符串,取得第一個字節是06,最高位爲0,因此沒有後繼字節,那麼取出這個字節裏7位有效數據,就是6,也就是說這個字符串是6個字節,但不包括結束字符“\0”。
2、關於長度的意義
由於字符串內容採用的是UTF-8格式編碼,表示一個字符的字節數是不定的。即有時是一個字節表示一個字符,有時是兩個、三個甚至四個字節表示一個字符。 而這裏的長度代表的並不是整個字符串所佔用的字節數,表示這個字符串包含的字符個數。所以在讀取時需要注意,尤其是在包含中文字符時,往往會因爲讀取的長 度不正確導致字符串被截斷。