從github下載最新Android源碼

原創 xusiwei1236 2018-08-22 05:26

今年5月底開始，谷歌徹底被牆，所有谷歌的網站都不能訪問了，這次包括了android.org，googlesource.com，code.google.com。Android官方的資源不能訪問，想下載Android代碼當然是困難重重了。

本文就爲大家解決這一問題——介紹如何使從github.com/andorid下載Andorid最新源碼。俗話說“授之以魚不如授之以漁”，本文不只是給出一個已經打包好的源碼的鏈接，而是重現一下我是如何下載的，希望對大家遇到的類似的問題能有所幫助。


github.com/android簡介

打開github.com/android可以看到：

中間黑體列出的的是各個項目的鏈接。github.com/android上託管的Android源碼是用git單獨管理每個項目的，而沒有像googlesource.com那樣使用repo（谷歌開發的基於git的命令行工具）管理所有項目。所以，如果你只想下載一個項目的源碼，可以單獨下載（比如開發App想跟一下SDK的一些源碼可以下載platform_frameworks_base項目）。


怎麼下載一個項目的代碼？

用過git的同學當然知道，可以使用下面的命令獲取遠程倉庫的代碼：

git clone [倉庫URL]
github項目頁面的右邊欄給出了倉庫URL，如下圖（clone URL下方的文本框）：


當然，如果只是要配置“App源碼調試”環境，可以點“Download ZIP”按鈕，下載zip格式的源碼包，然後在Eclipse調試的時候選擇下載好的源碼包。


如何批量下載github上的Android源碼

這裏在是本文的重點——批量下載github上的android源碼。

根據單獨下載一個項目的過程，下載所有項目的源碼可以有兩種方法：

  1. 得到所有項目的git倉庫URL
  2. 得到所有項目的ZIP包下載鏈接

接下來的問題是如何得到這樣的URL?

當然是從網頁上（也就是頁面的HTML文件上）！

現在問題就是如何得到這些網頁？

我瞬間想到的辦法就是——用CURL

ps: CURL是一個命令行上傳下載工具，支持多種協議包括HTTP, HTTPS, FTP等。

沒有curl的同學可以用如下命令下載：

sudo apt-get install curl

有了CURL用來抓頁面，就不愁得不到倉庫URL或ZIP包URL了：

首先要抓取github.com/android的頁面，再“順藤摸瓜”地抓取各個項目的頁面，再從各項目的頁面上抓取倉庫URL或ZIP包URL。


抓取頁面

在github.com/android頁面的下方可以看github.com/andoid一共分5頁，點擊後面幾個頁面，可以發現這幾個頁面的URL形式一致爲:

https://github.com/android?page=N
其中N表示“第幾頁”，比如第二頁，就是https://github.com/android?page=2

由此，可以用bash腳本輕易寫出抓取這5個頁面的代碼（可以直接在終端裏執行下面的命令）：

for ((i=1; i<=5; i++)); do
	curl https://github.com/android?page=$i > android.github.com.$i.html;
done

有捷徑

再看項目的首頁URL和倉庫URL可以發現：

倉庫URL = 首頁URL + .git

比如，platform_frameworks_base的首頁URL是：

https://github.com/android/platform_frameworks_base
倉庫URL是： 

https://github.com/android/platform_frameworks_base.git
當然，如果你有github.com的帳號，並且當前環境的pubkey已加入到了profile下，也可以使用ssh協議下載（而不是https），ssh下載的URL是： 

git://github.com/android/platform_frameworks_base.git
由此可知，獲取倉庫URL可以不用進一步抓起項目首頁，更簡單（下面只介紹獲取所有倉庫URL）。

解析頁面

現在的問題就是——如何從這些頁面上得到倉庫的URL了。

可以通過瀏覽器的“審查元素”菜單快速找到頁面上一個鏈接對應的HTML代碼塊，如下圖：


可以看到platform_frameworks_base項目的超鏈接（<a href="xxx">）被一個<h3 class="repo-list-name">標籤包圍，粗略瀏覽一下剛纔下載的幾個子頁面，可以看出每個項目首頁的鏈接都是如此（在<h3 class="repo-list-name">的下一行）。

根據剛纔找到的兩個規律：

  1. 項目首頁URL總是出現在<h3 class="repo-list-name">的下一行

  2. 倉庫URL = 首頁URL + .git

可以寫出解析各個項目首頁（倉庫URL）的python代碼（getGitRepos.py）：

#!/usr/bin/python
import sys

flag = False
link_prefix = 'https://github.com' # 如果使用ssh協議下載，可將https改爲git

allLines = sys.stdin.readlines()
for curLine in allLines:
	if curLine.find('repo-list-name') >= 0:
		flag = True
	if flag:
		pos = curLine.find('href="')
		if pos >= 0:
			pos += len('href="')
			last = curLine[pos:]
			end = last.find('"')
			link = last[:end]
			
			# name to path.
			name = link[link.rfind('/')+1:]
			prefix = name.find('platform_')
			if prefix >= 0:
				name = name[len('platform_'):] # ignore platform_
			path = name.replace('_', '/')
			
			link = link_prefix + link
			# print 'curl', link, '>', name
			# https://github.com/android/platform_external_qemu.git
			print 'git clone', link + '.git', path # 輸出 git clone 命令
			flag = False
之所以用python解析，只是因爲python寫起來簡潔，也可以用其他語言。

這段python程序從標準輸入讀入文本並解析，實際使用時可用重定向操作符實現，實現用之前抓取的github.com/android的幾個子頁面替代標準輸入。

程序輸出的git clone命令的path參數會忽略倉庫名稱前面的platform_前綴，這使得最終下載下來的源碼結構和repo sync下來的類似。


可以先用一個頁面測試一下，看看解析出來的URL對不對（上面的python代碼就是這樣改正確的），終端輸入下面命令：

./getGitRepos.py < android.github.com.1.html
該命令的輸出爲：
git clone https://github.com/android/platform_dalvik.git dalvik
git clone https://github.com/android/platform_bionic.git bionic
git clone https://github.com/android/platform_system_core.git system/core
git clone https://github.com/android/kernel_common.git kernel/common
git clone https://github.com/android/platform_external_qemu.git external/qemu
git clone https://github.com/android/platform_build.git build
git clone https://github.com/android/platform_development.git development
git clone https://github.com/android/platform_frameworks_base.git frameworks/base
git clone https://github.com/android/platform_manifest.git manifest
git clone https://github.com/android/platform_frameworks_support.git frameworks/support
git clone https://github.com/android/platform_packages_apps_settings.git packages/apps/settings
git clone https://github.com/android/platform_external_dhcpcd.git external/dhcpcd
git clone https://github.com/android/platform_external_webkit.git external/webkit
git clone https://github.com/android/platform_external_protobuf.git external/protobuf
git clone https://github.com/android/platform_packages_providers_mediaprovider.git packages/providers/mediaprovider
git clone https://github.com/android/platform_external_elfutils.git external/elfutils
git clone https://github.com/android/platform_external_strace.git external/strace
git clone https://github.com/android/platform_hardware_libhardware.git hardware/libhardware
git clone https://github.com/android/platform_external_tinyxml.git external/tinyxml
git clone https://github.com/android/platform_external_oprofile.git external/oprofile

測試基本上出現問題，因爲getGitRepos.py輸出的是git clone命令，執行之後在能執行實際的下載動作；所以，需要將這些輸出保存下來；

使用如下命令可將每個子頁面解析出的git clone命令保存到一個文本文件內：

for page in `ls android.github.com.*`; do
	echo parse $page
	./getGitRepos.py < $page >> gitRepos.txt;
done

有了寫滿git clone命令的gitRepos.txt後，可以使用如下命令執行之：

sh gitRepos.txt

一鍵下載

爲了方便廣大網友使用，我已將上面需要用的命令寫道了下面的cloneRepos.sh：

#!/bin/bash
# clone AOSP each repo from https://github.com/android
# this shell depends on git, curl and python 2.
# INSTALL depends:
#	sudo apt-get install git curl python
#
# by xu([email protected]).

# download github AOSP sub pages
for ((i=1; i<=5; i++)); do
	echo get AOSP subpage https://github.com/android?page=$i
	curl https://github.com/android?page=$i > android.github.com.$i.html;
done

# parse git repo URL from each sub pages
mkdir repos
cat /dev/null > gitRepos.txt
for page in `ls android.github.com.*`; do
	echo parse $page
	./getGitRepos.py < $page >> gitRepos.txt;
done

# clone repos
sh gitRepos.txt
另外，我已將上面的cloneRepos.sh和getGitRepos.py打包在了一起，可以到http://download.csdn.net/detail/xusiwei1236/7960925下載使用。

當然，如果覺得自己運行麻煩，可以直接copy生成的gitRepos.txt，直接粘貼到終端裏執行之，即可下載全部Android源碼：

git clone https://github.com/android/platform_dalvik.git dalvik
git clone https://github.com/android/platform_bionic.git bionic
git clone https://github.com/android/platform_system_core.git system/core
git clone https://github.com/android/kernel_common.git kernel/common
git clone https://github.com/android/platform_external_qemu.git external/qemu
git clone https://github.com/android/platform_build.git build
git clone https://github.com/android/platform_development.git development
git clone https://github.com/android/platform_frameworks_base.git frameworks/base
git clone https://github.com/android/platform_manifest.git manifest
git clone https://github.com/android/platform_frameworks_support.git frameworks/support
git clone https://github.com/android/platform_packages_apps_settings.git packages/apps/settings
git clone https://github.com/android/platform_external_dhcpcd.git external/dhcpcd
git clone https://github.com/android/platform_external_webkit.git external/webkit
git clone https://github.com/android/platform_external_protobuf.git external/protobuf
git clone https://github.com/android/platform_packages_providers_mediaprovider.git packages/providers/mediaprovider
git clone https://github.com/android/platform_external_elfutils.git external/elfutils
git clone https://github.com/android/platform_external_strace.git external/strace
git clone https://github.com/android/platform_hardware_libhardware.git hardware/libhardware
git clone https://github.com/android/platform_external_tinyxml.git external/tinyxml
git clone https://github.com/android/platform_external_oprofile.git external/oprofile
git clone https://github.com/android/platform_external_neven.git external/neven
git clone https://github.com/android/platform_external_netperf.git external/netperf
git clone https://github.com/android/platform_external_netcat.git external/netcat
git clone https://github.com/android/platform_external_libxml2.git external/libxml2
git clone https://github.com/android/platform_external_libpng.git external/libpng
git clone https://github.com/android/platform_external_libpcap.git external/libpcap
git clone https://github.com/android/platform_external_libffi.git external/libffi
git clone https://github.com/android/platform_external_jpeg.git external/jpeg
git clone https://github.com/android/platform_external_jhead.git external/jhead
git clone https://github.com/android/platform_external_jdiff.git external/jdiff
git clone https://github.com/android/platform_external_iptables.git external/iptables
git clone https://github.com/android/platform_external_icu4c.git external/icu4c
git clone https://github.com/android/platform_external_giflib.git external/giflib
git clone https://github.com/android/platform_external_freetype.git external/freetype
git clone https://github.com/android/platform_external_fdlibm.git external/fdlibm
git clone https://github.com/android/platform_external_expat.git external/expat
git clone https://github.com/android/platform_external_esd.git external/esd
git clone https://github.com/android/platform_external_emma.git external/emma
git clone https://github.com/android/platform_external_dropbear.git external/dropbear
git clone https://github.com/android/platform_external_apache-http.git external/apache-http
git clone https://github.com/android/platform_external_openssl.git external/openssl
git clone https://github.com/android/platform_external_sonivox.git external/sonivox
git clone https://github.com/android/platform_packages_providers_telephonyprovider.git packages/providers/telephonyprovider
git clone https://github.com/android/platform_packages_providers_downloadprovider.git packages/providers/downloadprovider
git clone https://github.com/android/platform_packages_providers_contactsprovider.git packages/providers/contactsprovider
git clone https://github.com/android/platform_packages_providers_calendarprovider.git packages/providers/calendarprovider
git clone https://github.com/android/platform_packages_apps_voicedialer.git packages/apps/voicedialer
git clone https://github.com/android/platform_packages_apps_stk.git packages/apps/stk
git clone https://github.com/android/platform_packages_apps_soundrecorder.git packages/apps/soundrecorder
git clone https://github.com/android/platform_packages_apps_phone.git packages/apps/phone
git clone https://github.com/android/platform_packages_apps_packageinstaller.git packages/apps/packageinstaller
git clone https://github.com/android/platform_packages_apps_music.git packages/apps/music
git clone https://github.com/android/platform_packages_apps_mms.git packages/apps/mms
git clone https://github.com/android/platform_packages_apps_htmlviewer.git packages/apps/htmlviewer
git clone https://github.com/android/platform_packages_apps_email.git packages/apps/email
git clone https://github.com/android/platform_packages_apps_contacts.git packages/apps/contacts
git clone https://github.com/android/platform_packages_apps_camera.git packages/apps/camera
git clone https://github.com/android/platform_packages_apps_calendar.git packages/apps/calendar
git clone https://github.com/android/platform_packages_apps_calculator.git packages/apps/calculator
git clone https://github.com/android/platform_packages_apps_browser.git packages/apps/browser
git clone https://github.com/android/platform_hardware_ril.git hardware/ril
git clone https://github.com/android/platform_external_zlib.git external/zlib
git clone https://github.com/android/platform_external_yaffs2.git external/yaffs2
git clone https://github.com/android/platform_external_tcpdump.git external/tcpdump
git clone https://github.com/android/platform_external_tagsoup.git external/tagsoup
git clone https://github.com/android/platform_external_srec.git external/srec
git clone https://github.com/android/platform_external_sqlite.git external/sqlite
git clone https://github.com/android/platform_external_skia.git external/skia
git clone https://github.com/android/platform_external_safe-iop.git external/safe-iop
git clone https://github.com/android/platform_external_ppp.git external/ppp
git clone https://github.com/android/kernel_msm.git kernel/msm
git clone https://github.com/android/platform_system_bluetooth.git system/bluetooth
git clone https://github.com/android/platform_prebuilt.git prebuilt
git clone https://github.com/android/platform_packages_providers_drmprovider.git packages/providers/drmprovider
git clone https://github.com/android/platform_external_ping.git external/ping
git clone https://github.com/android/platform_external_dbus.git external/dbus
git clone https://github.com/android/tools_repo.git tools/repo
git clone https://github.com/android/android.github.io.git android.github.io
git clone https://github.com/android/platform_external_wpa_supplicant.git external/wpa/supplicant
git clone https://github.com/android/platform_packages_apps_googlesearch.git packages/apps/googlesearch
git clone https://github.com/android/platform_system_wlan_ti.git system/wlan/ti
git clone https://github.com/android/platform_packages_providers_googlecontactsprovider.git packages/providers/googlecontactsprovider
git clone https://github.com/android/platform_packages_apps_im.git packages/apps/im
git clone https://github.com/android/platform_packages_providers_improvider.git packages/providers/improvider
git clone https://github.com/android/platform_external_tremor.git external/tremor
git clone https://github.com/android/platform_packages_apps_sync.git packages/apps/sync
git clone https://github.com/android/platform_packages_apps_alarmclock.git packages/apps/alarmclock
git clone https://github.com/android/platform_external_aes.git external/aes
git clone https://github.com/android/platform_external_clearsilver.git external/clearsilver
git clone https://github.com/android/platform_external_googleclient.git external/googleclient
git clone https://github.com/android/platform_packages_apps_launcher.git packages/apps/launcher
git clone https://github.com/android/platform_external_bluez.git external/bluez
git clone https://github.com/android/platform_external_gdata.git external/gdata
git clone https://github.com/android/platform_frameworks_opt_com.google.android.git frameworks/opt/com.google.android
git clone https://github.com/android/platform_external_elfcopy.git external/elfcopy
git clone https://github.com/android/platform_frameworks_policies_base.git frameworks/policies/base
git clone https://github.com/android/platform_packages_apps_updater.git packages/apps/updater
git clone https://github.com/android/platform_external_opencore.git external/opencore

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

剖析Framework面试 冲击Android高级职位

wy53780 2020-04-23 14:16:23

Top团队大牛带你玩转Android性能分析与优化

wy53780 2020-04-23 14:16:15

从零开发Android视频点播APP

wy53780 2020-04-23 14:09:49

企业级Android应用架构设计与开发

wy53780 2020-04-23 14:04:20

大厂资深面试官 带你破解Android高级面试

wy53780 2020-04-23 13:57:54

繼續讀書 —— 《人性的弱點》

ThinkinLiu 2019-02-24 14:09:53

Android（IPC）進程間通訊1：詳解Binder由來？

TryEnough 2019-02-24 13:56:52

ggit (git gui) --- 開發記錄 (一)

sewerganger 2019-02-24 22:45:04

Python3高级核心技术97讲

wy53780 2020-04-23 15:37:39

python網絡爬蟲

aabcdqt 2019-05-06 20:35:05

Python與家國天下

豌豆花下貓 2019-02-24 22:22:40

seaborn 安裝成功 + ImportError: DLL load failed: 找不到指定的模塊 問題解決

耗子 2019-02-24 19:55:04

使用 Sphinx 撰寫技術文檔並生成 PDF 總結

qiwihui 2019-02-24 16:25:14

Python實現二叉樹相關算法

backbp 2019-02-24 15:35:06

Ubuntu16.04安裝Python3.7及其pip3並切換爲默認版本

ipromise 2019-02-24 14:15:00