Android系統Recovery工作原理之使用update.zip升級過程分析(一)---update.zip包的製作
轉自:http://blog.csdn.net/mu0206mu/article/details/7399822
這篇及以後的篇幅將通過分析update.zip包在具體Android系統升級的過程,來理解Android系統中Recovery模式服務的工作原理。我們先從update.zip包的製作開始,然後是Android系統的啓動模式分析,Recovery工作原理,如何從我們上層開始選擇system update到重啓到Recovery服務,以及在Recovery服務中具體怎樣處理update.zip包升級的,我們的安裝腳本updater-script怎樣被解析並執行的等一系列問題。分析過程中所用的Android源碼是gingerbread0919(tcc88xx開發板標配的),測試開發板是tcc88xx。這是在工作中總結的文檔,當然在網上參考了不少內容,如有雷同純屬巧合吧,在分析過程中也存在很多未解決的問題,也希望大家不吝指教。
一、 update.zip包的目錄結構
|----boot.img
|----system/
|----recovery/
`|----recovery-from-boot.p
`|----etc/
`|----install-recovery.sh
|---META-INF/
`|CERT.RSA
`|CERT.SF
`|MANIFEST.MF
`|----com/
`|----google/
`|----android/
`|----update-binary
`|----updater-script
`|----android/
`|----metadata
二、 update.zip包目錄結構詳解
以上是我們用命令make otapackage 製作的update.zip包的標準目錄結構。
1、boot.img是更新boot分區所需要的文件。這個boot.img主要包括kernel+ramdisk。
2、system/目錄的內容在升級後會放在系統的system分區。主要用來更新系統的一些應用或則應用會用到的一些庫等等。可以將Android源碼編譯out/target/product/tcc8800/system/中的所有文件拷貝到這個目錄來代替。
3、recovery/目錄中的recovery-from-boot.p是boot.img和recovery.img的補丁(patch),主要用來更新recovery分區,其中etc/目錄下的install-recovery.sh是更新腳本。
4、update-binary是一個二進制文件,相當於一個腳本解釋器,能夠識別updater-script中描述的操作。該文件在Android源碼編譯後out/target/product/tcc8800/system bin/updater生成,可將updater重命名爲update-binary得到。
該文件在具體的更新包中的名字由源碼中bootable/recovery/install.c中的宏ASSUMED_UPDATE_BINARY_NAME的值而定。
5、updater-script:此文件是一個腳本文件,具體描述了更新過程。我們可以根據具體情況編寫該腳本來適應我們的具體需求。該文件的命名由源碼中bootable/recovery/updater/updater.c文件中的宏SCRIPT_NAME的值而定。
6、 metadata文件是描述設備信息及環境變量的元數據。主要包括一些編譯選項,簽名公鑰,時間戳以及設備型號等。
7、我們還可以在包中添加userdata目錄,來更新系統中的用戶數據部分。這部分內容在更新後會存放在系統的/data目錄下。
8、update.zip包的簽名:update.zip更新包在製作完成後需要對其簽名,否則在升級時會出現認證失敗的錯誤提示。而且簽名要使用和目標板一致的加密公鑰。加密公鑰及加密需要的三個文件在Android源碼編譯後生成的具體路徑爲:
out/host/linux-x86/framework/signapk.jar
build/target/product/security/testkey.x509.pem
build/target/product/security/testkey.pk8 。
我們用命令make otapackage製作生成的update.zip包是已簽過名的,如果自己做update.zip包時必須手動對其簽名。
具體的加密方法:$ java –jar gingerbread/out/host/linux/framework/signapk.jar –w gingerbread/build/target/product/security/testkey.x509.pem gingerbread/build/target/product/security/testkey.pk8
update.zip update_signed.zip
以上命令在update.zip包所在的路徑下執行,其中signapk.jar testkey.x509.pem以及testkey.pk8文件的引用使用絕對路徑。update.zip 是我們已經打好的包,update_signed.zip包是命令執行完生成的已經簽過名的包。
9、MANIFEST.MF:這個manifest文件定義了與包的組成結構相關的數據。類似Android應用的mainfest.xml文件。
10、CERT.RSA:與簽名文件相關聯的簽名程序塊文件,它存儲了用於簽名JAR文件的公共簽名。
11、CERT.SF:這是JAR文件的簽名文件,其中前綴CERT代表簽名者。
另外,在具體升級時,對update.zip包檢查時大致會分三步:①檢驗SF文件與RSA文件是否匹配。②檢驗MANIFEST.MF與簽名文件中的digest是否一致。③檢驗包中的文件與MANIFEST中所描述的是否一致。
三、 Android升級包update.zip的生成過程分析
1) 對於update.zip包的製作有兩種方式,即手動製作和命令生成。
第一種手動製作:即按照update.zip的目錄結構手動創建我們需要的目錄。然後將對應的文件拷貝到相應的目錄下,比如我們向系統中新加一個應用程序。可以將新增的應用拷貝到我們新建的update/system/app/下(system目錄是事先拷貝編譯源碼後生成的system目錄),打包並簽名後,拷貝到SD卡就可以使用了。這種方式在實際的tcc8800開發板中未測試成功。簽名部分未通過,可能與具體的開發板相關。
第二種製作方式:命令製作。Android源碼系統中爲我們提供了製作update.zip刷機包的命令,即make otapackage。該命令在編譯源碼完成後並在源碼根目錄下執行。 具體操作方式:在源碼根目錄下執行
①$ . build/envsetup.sh。
②$ lunch 然後選擇你需要的配置(如17)。
③$ make otapackage。
在編譯完源碼後最好再執行一遍上面的①、②步防止執行③時出現未找到對應規則的錯誤提示。命令執行完成後生成的升級包所在位置在out/target/product/full_tcc8800_evm_target_files-eng.mumu.20120309.111059.zip將這個包重新命名爲update.zip,並拷貝到SD卡中即可使用。
這種方式(即完全升級)在tcc8800開發板中已測試成功。
2) 使用make otapackage命令生成update.zip的過程分析。
在源碼根目錄下執行make otapackage命令生成update.zip包主要分爲兩步,第一步是根據Makefile執行編譯生成一個update原包(zip格式)。第二步是運行一個python腳本,並以上一步準備的zip包作爲輸入,最終生成我們需要的升級包。下面進一步分析這兩個過程。
第一步:編譯Makefile。對應的Makefile文件所在位置:build/core/Makefile。從該文件的884行(tcc8800,gingerbread0919)開始會生成一個zip包,這個包最後會用來製作OTA package 或者filesystem image。先將這部分的對應的Makefile貼出來如下:
-
# -----------------------------------------------------------------
-
# A zip of the directories that map to the target filesystem.
-
# This zip can be used to create an OTA package or filesystem image
-
# as a post-build step.
-
#
-
name := $(TARGET_PRODUCT)
-
ifeq ($(TARGET_BUILD_TYPE),debug)
-
name := $(name)_debug
-
endif
-
name := $(name)-target_files-$(FILE_NAME_TAG)
-
-
intermediates := $(call intermediates-dir-for,PACKAGING,target_files)
-
BUILT_TARGET_FILES_PACKAGE := $(intermediates)/$(name).zip
-
$(BUILT_TARGET_FILES_PACKAGE): intermediates := $(intermediates)
-
$(BUILT_TARGET_FILES_PACKAGE): \
-
zip_root := $(intermediates)/$(name)
-
-
# $(1): Directory to copy
-
# $(2): Location to copy it to
-
# The "ls -A" is to prevent "acp s/* d" from failing if s is empty.
-
define package_files-copy-root
-
if [ -d "$(strip $(1))" -a "$$(ls -A $(1))" ]; then \
-
mkdir -p $(2) && \
-
$(ACP) -rd $(strip $(1))/* $(2); \
-
fi
-
endef
-
-
built_ota_tools := \
-
$(call intermediates-dir-for,EXECUTABLES,applypatch)/applypatch \
-
$(call intermediates-dir-for,EXECUTABLES,applypatch_static)/applypatch_static \
-
$(call intermediates-dir-for,EXECUTABLES,check_prereq)/check_prereq \
-
$(call intermediates-dir-for,EXECUTABLES,updater)/updater
-
$(BUILT_TARGET_FILES_PACKAGE): PRIVATE_OTA_TOOLS := $(built_ota_tools)
-
-
$(BUILT_TARGET_FILES_PACKAGE): PRIVATE_RECOVERY_API_VERSION := $(RECOVERY_API_VERSION)
-
-
ifeq ($(TARGET_RELEASETOOLS_EXTENSIONS),)
-
# default to common dir for device vendor
-
$(BUILT_TARGET_FILES_PACKAGE): tool_extensions := $(TARGET_DEVICE_DIR)/../common
-
else
-
$(BUILT_TARGET_FILES_PACKAGE): tool_extensions := $(TARGET_RELEASETOOLS_EXTENSIONS)
-
endif
-
-
# Depending on the various images guarantees that the underlying
-
# directories are up-to-date.
-
$(BUILT_TARGET_FILES_PACKAGE): \
-
$(INSTALLED_BOOTIMAGE_TARGET) \
-
$(INSTALLED_RADIOIMAGE_TARGET) \
-
$(INSTALLED_RECOVERYIMAGE_TARGET) \
-
$(INSTALLED_SYSTEMIMAGE) \
-
$(INSTALLED_USERDATAIMAGE_TARGET) \
-
$(INSTALLED_ANDROID_INFO_TXT_TARGET) \
-
$(built_ota_tools) \
-
$(APKCERTS_FILE) \
-
$(HOST_OUT_EXECUTABLES)/fs_config \
-
| $(ACP)
-
@echo "Package target files: $@"
-
$(hide) rm -rf $@ $(zip_root)
-
$(hide) mkdir -p $(dir $@) $(zip_root)
-
@# Components of the recovery image
-
$(hide) mkdir -p $(zip_root)/RECOVERY
-
$(hide) $(call package_files-copy-root, \
-
$(TARGET_RECOVERY_ROOT_OUT),$(zip_root)/RECOVERY/RAMDISK)
-
ifdef INSTALLED_KERNEL_TARGET
-
$(hide) $(ACP) $(INSTALLED_KERNEL_TARGET) $(zip_root)/RECOVERY/kernel
-
endif
-
ifdef INSTALLED_2NDBOOTLOADER_TARGET
-
$(hide) $(ACP) \
-
$(INSTALLED_2NDBOOTLOADER_TARGET) $(zip_root)/RECOVERY/second
-
endif
-
ifdef BOARD_KERNEL_CMDLINE
-
$(hide) echo "$(BOARD_KERNEL_CMDLINE)" > $(zip_root)/RECOVERY/cmdline
-
endif
-
ifdef BOARD_KERNEL_BASE
-
$(hide) echo "$(BOARD_KERNEL_BASE)" > $(zip_root)/RECOVERY/base
-
endif
-
ifdef BOARD_KERNEL_PAGESIZE
-
$(hide) echo "$(BOARD_KERNEL_PAGESIZE)" > $(zip_root)/RECOVERY/pagesize
-
endif
-
@# Components of the boot image
-
$(hide) mkdir -p $(zip_root)/BOOT
-
$(hide) $(call package_files-copy-root, \
-
$(TARGET_ROOT_OUT),$(zip_root)/BOOT/RAMDISK)
-
ifdef INSTALLED_KERNEL_TARGET
-
$(hide) $(ACP) $(INSTALLED_KERNEL_TARGET) $(zip_root)/BOOT/kernel
-
endif
-
ifdef INSTALLED_2NDBOOTLOADER_TARGET
-
$(hide) $(ACP) \
-
$(INSTALLED_2NDBOOTLOADER_TARGET) $(zip_root)/BOOT/second
-
endif
-
ifdef BOARD_KERNEL_CMDLINE
-
$(hide) echo "$(BOARD_KERNEL_CMDLINE)" > $(zip_root)/BOOT/cmdline
-
endif
-
ifdef BOARD_KERNEL_BASE
-
$(hide) echo "$(BOARD_KERNEL_BASE)" > $(zip_root)/BOOT/base
-
endif
-
ifdef BOARD_KERNEL_PAGESIZE
-
$(hide) echo "$(BOARD_KERNEL_PAGESIZE)" > $(zip_root)/BOOT/pagesize
-
endif
-
$(hide) $(foreach t,$(INSTALLED_RADIOIMAGE_TARGET),\
-
mkdir -p $(zip_root)/RADIO; \
-
$(ACP) $(t) $(zip_root)/RADIO/$(notdir $(t));)
-
@# Contents of the system image
-
$(hide) $(call package_files-copy-root, \
-
$(SYSTEMIMAGE_SOURCE_DIR),$(zip_root)/SYSTEM)
-
@# Contents of the data image
-
$(hide) $(call package_files-copy-root, \
-
$(TARGET_OUT_DATA),$(zip_root)/DATA)
-
@# Extra contents of the OTA package
-
$(hide) mkdir -p $(zip_root)/OTA/bin
-
$(hide) $(ACP) $(INSTALLED_ANDROID_INFO_TXT_TARGET) $(zip_root)/OTA/
-
$(hide) $(ACP) $(PRIVATE_OTA_TOOLS) $(zip_root)/OTA/bin/
-
@# Files that do not end up in any images, but are necessary to
-
@# build them.
-
$(hide) mkdir -p $(zip_root)/META
-
$(hide) $(ACP) $(APKCERTS_FILE) $(zip_root)/META/apkcerts.txt
-
$(hide) echo "$(PRODUCT_OTA_PUBLIC_KEYS)" > $(zip_root)/META/otakeys.txt
-
$(hide) echo "recovery_api_version=$(PRIVATE_RECOVERY_API_VERSION)" > $(zip_root)/META/misc_info.txt
-
ifdef BOARD_FLASH_BLOCK_SIZE
-
$(hide) echo "blocksize=$(BOARD_FLASH_BLOCK_SIZE)" >> $(zip_root)/META/misc_info.txt
-
endif
-
ifdef BOARD_BOOTIMAGE_PARTITION_SIZE
-
$(hide) echo "boot_size=$(BOARD_BOOTIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt
-
endif
-
ifdef BOARD_RECOVERYIMAGE_PARTITION_SIZE
-
$(hide) echo "recovery_size=$(BOARD_RECOVERYIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt
-
endif
-
ifdef BOARD_SYSTEMIMAGE_PARTITION_SIZE
-
$(hide) echo "system_size=$(BOARD_SYSTEMIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt
-
endif
-
ifdef BOARD_USERDATAIMAGE_PARTITION_SIZE
-
$(hide) echo "userdata_size=$(BOARD_USERDATAIMAGE_PARTITION_SIZE)" >> $(zip_root)/META/misc_info.txt
-
endif
-
$(hide) echo "tool_extensions=$(tool_extensions)" >> $(zip_root)/META/misc_info.txt
-
ifdef mkyaffs2_extra_flags
-
$(hide) echo "mkyaffs2_extra_flags=$(mkyaffs2_extra_flags)" >> $(zip_root)/META/misc_info.txt
-
endif
-
@# Zip everything up, preserving symlinks
-
$(hide) (cd $(zip_root) && zip -qry ../$(notdir $@) .)
-
@# Run fs_config on all the system files in the zip, and save the output
-
$(hide) zipinfo -1 $@ | awk -F/ 'BEGIN { OFS="/" } /^SYSTEM\// {$$1 = "system"; print}' | $(HOST_OUT_EXECUTABLES)/fs_config > $(zip_root)/META/filesystem_config.txt
-
$(hide) (cd $(zip_root) && zip -q ../$(notdir $@) META/filesystem_config.txt)
-
-
-
target-files-package: $(BUILT_TARGET_FILES_PACKAGE)
-
-
-
ifneq ($(TARGET_SIMULATOR),true)
-
ifneq ($(TARGET_PRODUCT),sdk)
-
ifneq ($(TARGET_DEVICE),generic)
-
ifneq ($(TARGET_NO_KERNEL),true)
-
ifneq ($(recovery_fstab),)
根據上面的Makefile可以分析這個包的生成過程:
首先創建一個root_zip根目錄,並依次在此目錄下創建所需要的如下其他目錄
①創建RECOVERY目錄,並填充該目錄的內容,包括kernel的鏡像和recovery根文件系統的鏡像。此目錄最終用於生成recovery.img。
②創建並填充BOOT目錄。包含kernel和cmdline以及pagesize大小等,該目錄最終用來生成boot.img。
③向SYSTEM目錄填充system image。
④向DATA填充data image。
⑤用於生成OTA package包所需要的額外的內容。主要包括一些bin命令。
⑥創建META目錄並向該目錄下添加一些文本文件,如apkcerts.txt(描述apk文件用到的認證證書),misc_info.txt(描述Flash內存的塊大小以及boot、recovery、system、userdata等分區的大小信息)。
⑦使用保留連接選項壓縮我們在上面獲得的root_zip目錄。
⑧使用fs_config(build/tools/fs_config)配置上面的zip包內所有的系統文件(system/下各目錄、文件)的權限屬主等信息。fs_config包含了一個頭文件#include“private/android_filesystem_config.h”。在這個頭文件中以硬編碼的方式設定了system目錄下各文件的權限、屬主。執行完配置後會將配置後的信息以文本方式輸出
到META/filesystem_config.txt中。並再一次zip壓縮成我們最終需要的原始包。
第二步:上面的zip包只是一個編譯過程中生成的原始包。這個原始zip包在實際的編譯過程中有兩個作用,一是用來生成OTA update升級包,二是用來生成系統鏡像。在編譯過程中若生成OTA update升級包時會調用(具體位置在Makefile的1037行到1058行)一個名爲ota_from_target_files的python腳本,位置在/build/tools/releasetools/ota_from_target_files。這個腳本的作用是以第一步生成的zip原始包作爲輸入,最終生成可用的OTA升級zip包。
下面我們分析使用這個腳本生成最終OTA升級包的過程。
㈠ 首先看一下這個腳本開始部分的幫助文檔。代碼如下:
下面簡單翻譯一下他們的使用方法以及選項的作用。
Usage: ota_from_target_files [flags] input_target_files output_ota_package
-b 過時的。
-k簽名所使用的密鑰
-i生成增量OTA包時使用此選項。後面我們會用到這個選項來生成OTA增量包。
-w是否清除userdata分區
-n在升級時是否不檢查時間戳,缺省要檢查,即缺省情況下只能基於舊版本升級。
-e是否有額外運行的腳本
-m執行過程中生成腳本(updater-script)所需要的格式,目前有兩種即amend和edify。對應上兩種版本升級時會採用不同的解釋器。缺省會同時生成兩種格式的腳 本。
-p定義腳本用到的一些可執行文件的路徑。
-s定義額外運行腳本的路徑。
-x定義額外運行的腳本可能用的鍵值對。
-v執行過程中打印出執行的命令。
-h命令幫助
㈡ 下面我們分析ota_from_target_files這個python腳本是怎樣生成最終zip包的。先講這個腳本的代碼貼出來如下:
-
import sys
-
-
if sys.hexversion < 0x02040000:
-
print >> sys.stderr, "Python 2.4 or newer is required."
-
sys.exit(1)
-
-
import copy
-
import errno
-
import os
-
import re
-
import sha
-
import subprocess
-
import tempfile
-
import time
-
import zipfile
-
-
import common
-
import edify_generator
-
-
OPTIONS = common.OPTIONS
-
OPTIONS.package_key = "build/target/product/security/testkey"
-
OPTIONS.incremental_source = None
-
OPTIONS.require_verbatim = set()
-
OPTIONS.prohibit_verbatim = set(("system/build.prop",))
-
OPTIONS.patch_threshold = 0.95
-
OPTIONS.wipe_user_data = False
-
OPTIONS.omit_prereq = False
-
OPTIONS.extra_script = None
-
OPTIONS.worker_threads = 3
-
-
def MostPopularKey(d, default):
-
-
-
x = [(v, k) for (k, v) in d.iteritems()]
-
if not x: return default
-
x.sort()
-
return x[-1][1]
-
-
-
def IsSymlink(info):
-
-
-
return (info.external_attr >> 16) == 0120777
-
-
-
class Item:
-
-
-
ITEMS = {}
-
def __init__(self, name, dir=False):
-
self.name = name
-
self.uid = None
-
self.gid = None
-
self.mode = None
-
self.dir = dir
-
-
if name:
-
self.parent = Item.Get(os.path.dirname(name), dir=True)
-
self.parent.children.append(self)
-
else:
-
self.parent = None
-
if dir:
-
self.children = []
-
-
def Dump(self, indent=0):
-
if self.uid is not None:
-
print "%s%s %d %d %o" % (" "*indent, self.name, self.uid, self.gid, self.mode)
-
else:
-
print "%s%s %s %s %s" % (" "*indent, self.name, self.uid, self.gid, self.mode)
-
if self.dir:
-
print "%s%s" % (" "*indent, self.descendants)
-
print "%s%s" % (" "*indent, self.best_subtree)
-
for i in self.children:
-
i.Dump(indent=indent+1)
-
-
@classmethod
-
def Get(cls, name, dir=False):
-
if name not in cls.ITEMS:
-
cls.ITEMS[name] = Item(name, dir=dir)
-
return cls.ITEMS[name]
-
-
@classmethod
-
def GetMetadata(cls, input_zip):
-
-
try:
-
-
-
output = input_zip.read("META/filesystem_config.txt")
-
except KeyError:
-
-
-
-
-
p = common.Run(["fs_config"], stdin=subprocess.PIPE,
-
stdout=subprocess.PIPE, stderr=subprocess.PIPE)
-
suffix = { False: "", True: "/" }
-
input = "".join(["%s%s\n" % (i.name, suffix[i.dir])
-
for i in cls.ITEMS.itervalues() if i.name])
-
output, error = p.communicate(input)
-
assert not error
-
-
for line in output.split("\n"):
-
if not line: continue
-
name, uid, gid, mode = line.split()
-
i = cls.ITEMS.get(name, None)
-
if i is not None:
-
i.uid = int(uid)
-
i.gid = int(gid)
-
i.mode = int(mode, 8)
-
if i.dir:
-
i.children.sort(key=lambda i: i.name)
-
-
-
i = cls.ITEMS.get("system/recovery-from-boot.p", None)
-
if i: i.uid, i.gid, i.mode = 0, 0, 0644
-
i = cls.ITEMS.get("system/etc/install-recovery.sh", None)
-
if i: i.uid, i.gid, i.mode = 0, 0, 0544
-
-
def CountChildMetadata(self):
-
-
-
-
-
-
-
-
-
-
-
-
-
assert self.dir
-
d = self.descendants = {(self.uid, self.gid, self.mode, None): 1}
-
for i in self.children:
-
if i.dir:
-
for k, v in i.CountChildMetadata().iteritems():
-
d[k] = d.get(k, 0) + v
-
else:
-
k = (i.uid, i.gid, None, i.mode)
-
d[k] = d.get(k, 0) + 1
-
-
-
-
-
-
-
ug = {}
-
for (uid, gid, _, _), count in d.iteritems():
-
ug[(uid, gid)] = ug.get((uid, gid), 0) + count
-
ug = MostPopularKey(ug, (0, 0))
-
-
-
-
best_dmode = (0, 0755)
-
best_fmode = (0, 0644)
-
for k, count in d.iteritems():
-
if k[:2] != ug: continue
-
if k[2] is not None and count >= best_dmode[0]: best_dmode = (count, k[2])
-
if k[3] is not None and count >= best_fmode[0]: best_fmode = (count, k[3])
-
self.best_subtree = ug + (best_dmode[1], best_fmode[1])
-
-
return d
-
-
def SetPermissions(self, script):
-
-
-
-
-
self.CountChildMetadata()
-
-
def recurse(item, current):
-
-
-
-
-
if item.dir:
-
if current != item.best_subtree:
-
script.SetPermissionsRecursive("/"+item.name, *item.best_subtree)
-
current = item.best_subtree
-
-
if item.uid != current[0] or item.gid != current[1] or \
-
item.mode != current[2]:
-
script.SetPermissions("/"+item.name, item.uid, item.gid, item.mode)
-
-
for i in item.children:
-
recurse(i, current)
-
else:
-
if item.uid != current[0] or item.gid != current[1] or \
-
item.mode != current[3]:
-
script.SetPermissions("/"+item.name, item.uid, item.gid, item.mode)
-
-
recurse(self, (-1, -1, -1, -1))
-
-
-
def CopySystemFiles(input_zip, output_zip=None,
-
substitute=None):
-
-
-
-
-
-
-
-
-
symlinks = []
-
-
for info in input_zip.infolist():
-
if info.filename.startswith("SYSTEM/"):
-
basefilename = info.filename[7:]
-
if IsSymlink(info):
-
symlinks.append((input_zip.read(info.filename),
-
"/system/" + basefilename))
-
else:
-
info2 = copy.copy(info)
-
fn = info2.filename = "system/" + basefilename
-
if substitute and fn in substitute and substitute[fn] is None:
-
continue
-
if output_zip is not None:
-
if substitute and fn in substitute:
-
data = substitute[fn]
-
else:
-
data = input_zip.read(info.filename)
-
output_zip.writestr(info2, data)
-
if fn.endswith("/"):
-
Item.Get(fn[:-1], dir=True)
-
else:
-
Item.Get(fn, dir=False)
-
-
symlinks.sort()
-
return symlinks
-
-
-
def SignOutput(temp_zip_name, output_zip_name):
-
key_passwords = common.GetKeyPasswords([OPTIONS.package_key])
-
pw = key_passwords[OPTIONS.package_key]
-
-
common.SignFile(temp_zip_name, output_zip_name, OPTIONS.package_key, pw,
-
whole_file=True)
-
-
-
def AppendAssertions(script, input_zip):
-
device = GetBuildProp("ro.product.device", input_zip)
-
script.AssertDevice(device)
-
-
-
def MakeRecoveryPatch(output_zip, recovery_img, boot_img):
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
d = common.Difference(recovery_img, boot_img)
-
_, _, patch = d.ComputePatch()
-
common.ZipWriteStr(output_zip, "recovery/recovery-from-boot.p", patch)
-
Item.Get("system/recovery-from-boot.p", dir=False)
-
-
boot_type, boot_device = common.GetTypeAndDevice("/boot", OPTIONS.info_dict)
-
recovery_type, recovery_device = common.GetTypeAndDevice("/recovery", OPTIONS.info_dict)
-
-
-
-
-
HEADER_SIZE = 2048
-
header_sha1 = sha.sha(recovery_img.data[:HEADER_SIZE]).hexdigest()
-
sh =
-
-
-
-
-
-
-
% { 'boot_size': boot_img.size,
-
'boot_sha1': boot_img.sha1,
-
'header_size': HEADER_SIZE,
-
'header_sha1': header_sha1,
-
'recovery_size': recovery_img.size,
-
'recovery_sha1': recovery_img.sha1,
-
'boot_type': boot_type,
-
'boot_device': boot_device,
-
'recovery_type': recovery_type,
-
'recovery_device': recovery_device,
-
}
-
common.ZipWriteStr(output_zip, "recovery/etc/install-recovery.sh", sh)
-
return Item.Get("system/etc/install-recovery.sh", dir=False)
-
-
-
def WriteFullOTAPackage(input_zip, output_zip):
-
-
-
-
script = edify_generator.EdifyGenerator(3, OPTIONS.info_dict)
-
-
metadata = {"post-build": GetBuildProp("ro.build.fingerprint", input_zip),
-
"pre-device": GetBuildProp("ro.product.device", input_zip),
-
"post-timestamp": GetBuildProp("ro.build.date.utc", input_zip),
-
}
-
-
device_specific = common.DeviceSpecificParams(
-
input_zip=input_zip,
-
input_version=OPTIONS.info_dict["recovery_api_version"],
-
output_zip=output_zip,
-
script=script,
-
input_tmp=OPTIONS.input_tmp,
-
metadata=metadata,
-
info_dict=OPTIONS.info_dict)
-
-
if not OPTIONS.omit_prereq:
-
ts = GetBuildProp("ro.build.date.utc", input_zip)
-
script.AssertOlderBuild(ts)
-
-
AppendAssertions(script, input_zip)
-
device_specific.FullOTA_Assertions()
-
-
script.ShowProgress(0.5, 0)
-
-
if OPTIONS.wipe_user_data:
-
script.FormatPartition("/data")
-
-
script.FormatPartition("/system")
-
script.Mount("/system")
-
script.UnpackPackageDir("recovery", "/system")
-
script.UnpackPackageDir("system", "/system")
-
-
symlinks = CopySystemFiles(input_zip, output_zip)
-
script.MakeSymlinks(symlinks)
-
-
boot_img = common.File("boot.img", common.BuildBootableImage(
-
os.path.join(OPTIONS.input_tmp, "BOOT")))
-
recovery_img = common.File("recovery.img", common.BuildBootableImage(
-
os.path.join(OPTIONS.input_tmp, "RECOVERY")))
-
MakeRecoveryPatch(output_zip, recovery_img, boot_img)
-
-
Item.GetMetadata(input_zip)
-
Item.Get("system").SetPermissions(script)
-
-
common.CheckSize(boot_img.data, "boot.img", OPTIONS.info_dict)
-
common.ZipWriteStr(output_zip, "boot.img", boot_img.data)
-
script.ShowProgress(0.2, 0)
-
-
script.ShowProgress(0.2, 10)
-
script.WriteRawImage("/boot", "boot.img")
-
-
script.ShowProgress(0.1, 0)
-
device_specific.FullOTA_InstallEnd()
-
-
if OPTIONS.extra_script is not None:
-
script.AppendExtra(OPTIONS.extra_script)
-
-
script.UnmountAll()
-
script.AddToZip(input_zip, output_zip)
-
WriteMetadata(metadata, output_zip)
-
-
-
def WriteMetadata(metadata, output_zip):
-
common.ZipWriteStr(output_zip, "META-INF/com/android/metadata",
-
"".join(["%s=%s\n" % kv
-
for kv in sorted(metadata.iteritems())]))
-
-
-
-
-
def LoadSystemFiles(z):
-
-
-
out = {}
-
for info in z.infolist():
-
if info.filename.startswith("SYSTEM/") and not IsSymlink(info):
-
fn = "system/" + info.filename[7:]
-
data = z.read(info.filename)
-
out[fn] = common.File(fn, data)
-
return out
-
-
-
def GetBuildProp(property, z):
-
-
-
bp = z.read("SYSTEM/build.prop")
-
if not property:
-
return bp
-
m = re.search(re.escape(property) + r"=(.*)\n", bp)
-
if not m:
-
raise common.ExternalError("couldn't find %s in build.prop" % (property,))
-
return m.group(1).strip()
-
-
-
def WriteIncrementalOTAPackage(target_zip, source_zip, output_zip):
-
source_version = OPTIONS.source_info_dict["recovery_api_version"]
-
target_version = OPTIONS.target_info_dict["recovery_api_version"]
-
-
if source_version == 0:
-
print ("WARNING: generating edify script for a source that "
-
"can't install it.")
-
script = edify_generator.EdifyGenerator(source_version, OPTIONS.info_dict)
-
-
metadata = {"pre-device": GetBuildProp("ro.product.device", source_zip),
-
"post-timestamp": GetBuildProp("ro.build.date.utc", target_zip),
-
}
-
-
device_specific = common.DeviceSpecificParams(
-
source_zip=source_zip,
-
source_version=source_version,
-
target_zip=target_zip,
-
target_version=target_version,
-
output_zip=output_zip,
-
script=script,
-
metadata=metadata,
-
info_dict=OPTIONS.info_dict)
-
-
print "Loading target..."
-
target_data = LoadSystemFiles(target_zip)
-
print "Loading source..."
-
source_data = LoadSystemFiles(source_zip)
-
-
verbatim_targets = []
-
patch_list = []
-
diffs = []
-
largest_source_size = 0
-
for fn in sorted(target_data.keys()):
-
tf = target_data[fn]
-
assert fn == tf.name
-
sf = source_data.get(fn, None)
-
-
if sf is None or fn in OPTIONS.require_verbatim:
-
-
if fn in OPTIONS.prohibit_verbatim:
-
raise common.ExternalError("\"%s\" must be sent verbatim" % (fn,))
-
print "send", fn, "verbatim"
-
tf.AddToZip(output_zip)
-
verbatim_targets.append((fn, tf.size))
-
elif tf.sha1 != sf.sha1:
-
-
diffs.append(common.Difference(tf, sf))
-
else:
-
-
pass
-
-
common.ComputeDifferences(diffs)
-
-
for diff in diffs:
-
tf, sf, d = diff.GetPatch()
-
if d is None or len(d) > tf.size * OPTIONS.patch_threshold:
-
-
tf.AddToZip(output_zip)
-
verbatim_targets.append((tf.name, tf.size))
-
else:
-
common.ZipWriteStr(output_zip, "patch/" + tf.name + ".p", d)
-
patch_list.append((tf.name, tf, sf, tf.size, sha.sha(d).hexdigest()))
-
largest_source_size = max(largest_source_size, sf.size)
-
-
source_fp = GetBuildProp("ro.build.fingerprint", source_zip)
-
target_fp = GetBuildProp("ro.build.fingerprint", target_zip)
-
metadata["pre-build"] = source_fp
-
metadata["post-build"] = target_fp
-
-
script.Mount("/system")
-
script.AssertSomeFingerprint(source_fp, target_fp)
-
-
source_boot = common.File("/tmp/boot.img",
-
common.BuildBootableImage(
-
os.path.join(OPTIONS.source_tmp, "BOOT")))
-
target_boot = common.File("/tmp/boot.img",
-
common.BuildBootableImage(
-
os.path.join(OPTIONS.target_tmp, "BOOT")))
-
updating_boot = (source_boot.data != target_boot.data)
-
-
source_recovery = common.File("system/recovery.img",
-
common.BuildBootableImage(
-
os.path.join(OPTIONS.source_tmp, "RECOVERY")))
-
target_recovery = common.File("system/recovery.img",
-
common.BuildBootableImage(
-
os.path.join(OPTIONS.target_tmp, "RECOVERY")))
-
updating_recovery = (source_recovery.data != target_recovery.data)
-
-
-
-
-
-
-
-
AppendAssertions(script, target_zip)
-
device_specific.IncrementalOTA_Assertions()
-
-
script.Print("Verifying current system...")
-
-
script.ShowProgress(0.1, 0)
-
total_verify_size = float(sum([i[2].size for i in patch_list]) + 1)
-
if updating_boot:
-
total_verify_size += source_boot.size
-
so_far = 0
-
-
for fn, tf, sf, size, patch_sha in patch_list:
-
script.PatchCheck("/"+fn, tf.sha1, sf.sha1)
-
so_far += sf.size
-
script.SetProgress(so_far / total_verify_size)
-
-
if updating_boot:
-
d = common.Difference(target_boot, source_boot)
-
_, _, d = d.ComputePatch()
-
print "boot target: %d source: %d diff: %d" % (
-
target_boot.size, source_boot.size, len(d))
-
-
common.ZipWriteStr(output_zip, "patch/boot.img.p", d)
-
-
boot_type, boot_device = common.GetTypeAndDevice("/boot", OPTIONS.info_dict)
-
-
script.PatchCheck("%s:%s:%d:%s:%d:%s" %
-
(boot_type, boot_device,
-
source_boot.size, source_boot.sha1,
-
target_boot.size, target_boot.sha1))
-
so_far += source_boot.size
-
script.SetProgress(so_far / total_verify_size)
-
-
if patch_list or updating_recovery or updating_boot:
-
script.CacheFreeSpaceCheck(largest_source_size)
-
-
device_specific.IncrementalOTA_VerifyEnd()
-
-
script.Comment("---- start making changes here ----")
-
-
if OPTIONS.wipe_user_data:
-
script.Print("Erasing user data...")
-
script.FormatPartition("/data")
-
-
script.Print("Removing unneeded files...")
-
script.DeleteFiles(["/"+i[0] for i in verbatim_targets] +
-
["/"+i for i in sorted(source_data)
-
if i not in target_data] +
-
["/system/recovery.img"])
-
-
script.ShowProgress(0.8, 0)
-
total_patch_size = float(sum([i[1].size for i in patch_list]) + 1)
-
if updating_boot:
-
total_patch_size += target_boot.size
-
so_far = 0
-
-
script.Print("Patching system files...")
-
for fn, tf, sf, size, _ in patch_list:
-
script.ApplyPatch("/"+fn, "-", tf.size, tf.sha1, sf.sha1, "patch/"+fn+".p")
-
so_far += tf.size
-
script.SetProgress(so_far / total_patch_size)
-
-
if updating_boot:
-
-
-
-
script.Print("Patching boot image...")
-
script.ApplyPatch("%s:%s:%d:%s:%d:%s"
-
% (boot_type, boot_device,
-
source_boot.size, source_boot.sha1,
-
target_boot.size, target_boot.sha1),
-
"-",
-
target_boot.size, target_boot.sha1,
-
source_boot.sha1, "patch/boot.img.p")
-
so_far += target_boot.size
-
script.SetProgress(so_far / total_patch_size)
-
print "boot image changed; including."
-
else:
-
print "boot image unchanged; skipping."
-
-
if updating_recovery:
-
-
-
-
-
-
-
-
-
-
-
-
MakeRecoveryPatch(output_zip, target_recovery, target_boot)
-
script.DeleteFiles(["/system/recovery-from-boot.p",
-
"/system/etc/install-recovery.sh"])
-
print "recovery image changed; including as patch from boot."
-
else:
-
print "recovery image unchanged; skipping."
-
-
script.ShowProgress(0.1, 10)
-
-
target_symlinks = CopySystemFiles(target_zip, None)
-
-
target_symlinks_d = dict([(i[1], i[0]) for i in target_symlinks])
-
temp_script = script.MakeTemporary()
-
Item.GetMetadata(target_zip)
-
Item.Get("system").SetPermissions(temp_script)
-
-
-
-
source_symlinks = CopySystemFiles(source_zip, None)
-
source_symlinks_d = dict([(i[1], i[0]) for i in source_symlinks])
-
-
-
-
-
to_delete = []
-
for dest, link in source_symlinks:
-
if link not in target_symlinks_d:
-
to_delete.append(link)
-
script.DeleteFiles(to_delete)
-
-
if verbatim_targets:
-
script.Print("Unpacking new files...")
-
script.UnpackPackageDir("system", "/system")
-
-
if updating_recovery:
-
script.Print("Unpacking new recovery...")
-
script.UnpackPackageDir("recovery", "/system")
-
-
script.Print("Symlinks and permissions...")
-
-
-
-
-
to_create = []
-
for dest, link in target_symlinks:
-
if link in source_symlinks_d:
-
if dest != source_symlinks_d[link]:
-
to_create.append((dest, link))
-
else:
-
to_create.append((dest, link))
-
script.DeleteFiles([i[1] for i in to_create])
-
script.MakeSymlinks(to_create)
-
-
-
-
script.AppendScript(temp_script)
-
-
-
device_specific.IncrementalOTA_InstallEnd()
-
-
if OPTIONS.extra_script is not None:
-
scirpt.AppendExtra(OPTIONS.extra_script)
-
-
script.AddToZip(target_zip, output_zip)
-
WriteMetadata(metadata, output_zip)
-
-
-
def main(argv):
-
-
def option_handler(o, a):
-
if o in ("-b", "--board_config"):
-
pass
-
elif o in ("-k", "--package_key"):
-
OPTIONS.package_key = a
-
elif o in ("-i", "--incremental_from"):
-
OPTIONS.incremental_source = a
-
elif o in ("-w", "--wipe_user_data"):
-
OPTIONS.wipe_user_data = True
-
elif o in ("-n", "--no_prereq"):
-
OPTIONS.omit_prereq = True
-
elif o in ("-e", "--extra_script"):
-
OPTIONS.extra_script = a
-
elif o in ("--worker_threads"):
-
OPTIONS.worker_threads = int(a)
-
else:
-
return False
-
return True
-
-
args = common.ParseOptions(argv, __doc__,
-
extra_opts="b:k:i:d:wne:",
-
extra_long_opts=["board_config=",
-
"package_key=",
-
"incremental_from=",
-
"wipe_user_data",
-
"no_prereq",
-
"extra_script=",
-
"worker_threads="],
-
extra_option_handler=option_handler)
-
-
if len(args) != 2:
-
common.Usage(__doc__)
-
sys.exit(1)
-
-
if OPTIONS.extra_script is not None:
-
OPTIONS.extra_script = open(OPTIONS.extra_script).read()
-
-
print "unzipping target target-files..."
-
OPTIONS.input_tmp = common.UnzipTemp(args[0])
-
-
OPTIONS.target_tmp = OPTIONS.input_tmp
-
input_zip = zipfile.ZipFile(args[0], "r")
-
OPTIONS.info_dict = common.LoadInfoDict(input_zip)
-
if OPTIONS.verbose:
-
print "--- target info ---"
-
common.DumpInfoDict(OPTIONS.info_dict)
-
-
if OPTIONS.device_specific is None:
-
OPTIONS.device_specific = OPTIONS.info_dict.get("tool_extensions", None)
-
if OPTIONS.device_specific is not None:
-
OPTIONS.device_specific = os.path.normpath(OPTIONS.device_specific)
-
print "using device-specific extensions in", OPTIONS.device_specific
-
-
if OPTIONS.package_key:
-
temp_zip_file = tempfile.NamedTemporaryFile()
-
output_zip = zipfile.ZipFile(temp_zip_file, "w",
-
compression=zipfile.ZIP_DEFLATED)
-
else:
-
output_zip = zipfile.ZipFile(args[1], "w",
-
compression=zipfile.ZIP_DEFLATED)
-
-
if OPTIONS.incremental_source is None:
-
WriteFullOTAPackage(input_zip, output_zip)
-
else:
-
print "unzipping source target-files..."
-
OPTIONS.source_tmp = common.UnzipTemp(OPTIONS.incremental_source)
-
source_zip = zipfile.ZipFile(OPTIONS.incremental_source, "r")
-
OPTIONS.target_info_dict = OPTIONS.info_dict
-
OPTIONS.source_info_dict = common.LoadInfoDict(source_zip)
-
if OPTIONS.verbose:
-
print "--- source info ---"
-
common.DumpInfoDict(OPTIONS.source_info_dict)
-
WriteIncrementalOTAPackage(input_zip, source_zip, output_zip)
-
-
output_zip.close()
-
if OPTIONS.package_key:
-
SignOutput(temp_zip_file.name, args[1])
-
temp_zip_file.close()
-
-
common.Cleanup()
-
-
print "done."
-
-
-
if __name__ == '__main__':
-
try:
-
common.CloseInheritedPipes()
-
main(sys.argv[1:])
-
except common.ExternalError, e:
-
print
-
print " ERROR: %s" % (e,)
-
print
-
sys.exit(1)
主函數main是python的入口函數,我們從main函數開始看,大概看一下main函數(腳本最後)裏的流程就能知道腳本的執行過程了。
① 在main函數的開頭,首先將用戶設定的option選項存入OPTIONS變量中,它是一個python中的類。緊接着判斷有沒有額外的腳本,如果有就讀入到OPTIONS變量中。
② 解壓縮輸入的zip包,即我們在上文生成的原始zip包。然後判斷是否用到device-specific extensions(設備擴展)如果用到,隨即讀入到OPTIONS變量中。
③ 判斷是否簽名,然後判斷是否有新內容的增量源,有的話就解壓該增量源包放入一個臨時變量中(source_zip)。自此,所有的準備工作已完畢,隨即會調用該 腳本中最主要的函數WriteFullOTAPackage(input_zip,output_zip)
④ WriteFullOTAPackage函數的處理過程是先獲得腳本的生成器。默認格式是edify。然後獲得metadata元數據,此數據來至於Android的一些環境變量。然後獲得設備配置參數比如api函數的版本。然後判斷是否忽略時間戳。
⑤ WriteFullOTAPackage函數做完準備工作後就開始生成升級用的腳本文件(updater-script)了。生成腳本文件後將上一步獲得的metadata元數據寫入到輸出包out_zip。
⑥至此一個完整的update.zip升級包就生成了。生成位置在:out/target/product/tcc8800/full_tcc8800_evm-ota-eng.mumu.20120315.155326.zip。將升級包拷貝到SD卡中就可以用來升級了。
四、 Android OTA增量包update.zip的生成
在上面的過程中生成的update.zip升級包是全部系統的升級包。大小有80M多。這對手機用戶來說,用來升級的流量是很大的。而且在實際升級中,我們只希望能夠升級我們改變的那部分內容。這就需要使用增量包來升級。生成增量包的過程也需要上文中提到的ota_from_target_files.py的參與。
下面是製作update.zip增量包的過程。
① 在源碼根目錄下依次執行下列命令
$ . build/envsetup.sh
$ lunch 選擇17
$ make
$ make otapackage
執行上面的命令後會在out/target/product/tcc8800/下生成我們第一個系統升級包。我們先將其命名爲A.zip
② 在源碼中修改我們需要改變的部分,比如修改內核配置,增加新的驅動等等。修改後再一次執行上面的命令。就會生成第二個我們修改後生成的update.zip升級包。將 其命名爲B.zip。
③ 在上文中我們看了ota_from_target_files.py腳本的使用幫助,其中選項-i就是用來生成差分增量包的。使用方法是以上面的A.zip 和B.zip包作爲輸入,以update.zip包作 爲輸出。生成的update.zip就是我們最後需要的增量包。
具體使用方式是:將上述兩個包拷貝到源碼根目錄下,然後執行下面的命令。
$ ./build/tools/releasetools/ota_from_target_files -i A.zip B.zip update.zip。
在執行上述命令時會出現未找到recovery_api_version的錯誤。原因是在執行上面的腳本時如果使用選項i則會調用WriteIncrementalOTAPackage會從A包和B包中的META目錄下搜索misc_info.txt來讀取recovery_api_version的值。但是在執行make otapackage命令時生成的update.zip包中沒有這個目錄更沒有這個文檔。
此時我們就需要使用執行make otapackage生成的原始的zip包。這個包的位置在out/target/product/tcc8800/obj/PACKAGING/target_files_intermediates/目錄下,它是在用命令make otapackage之後的中間生產物,是最原始的升級包。我們將兩次編譯的生成的包分別重命名爲A.zip和B.zip,並拷貝到SD卡根目錄下重複執行上面的命令:
$ ./build/tools/releasetools/ota_form_target_files -i A.zip B.zip update.zip。
在上述命令即將執行完畢時,在device/telechips/common/releasetools.py會調用IncrementalOTA_InstallEnd,在這個函數中讀取包中的RADIO/bootloader.img。
而包中是沒有這個目錄和bootloader.img的。所以執行失敗,未能生成對應的update.zip。可能與我們未修改bootloader(升級firmware)有關。此問題在下一篇博客已經解決。
在下一篇中講解制作增量包失敗的原因,以及解決方案。