hotnets 2018 Gearing up for the 21st century space race 閱讀報告

準備迎接21世紀的太空競賽
引用：
Bhattacherjee D, Aqeel W, Bozkurt I N, et al. Gearing up for the 21st century space race[C]//Proceedings of the 17th ACM Workshop on Hot Topics in Networks. 2018: 113-119.
基礎知識：
1. 高軌衛星位於35786km高度，有超過600ms的RTT
2. 利基（niche）：是指針對企業的優勢細分出來的市場，這個市場不大，而且沒有得到令人滿意的服務。產品推進這個市場，有盈利的基礎。在這裏特指，針對性、專業性很強的產品。
3. 升交點：衛星從南向北運行時與赤道的交點
春分點爲黃道面與赤道面在天球上的交點
升交點赤經RAAN：衛星軌道的升交點與春分點之間的角距

本文貢獻/在本文中你能得到什麼：

1. SpaceX知識點：
   - 關於覆蓋，SpaceX整個系統可完成全球的100%地理覆蓋，地面端有地站和用戶，用戶使用披薩大小的接收器，因此智能手機可能無法通過升級直接連接衛星
   - 關於帶寬，SpaceX每顆衛星宣稱的下行帶寬20Gbps，綜合12k衛星下行帶寬將會達到240Tbps，與當今估計的光纖容量295Tbps相當。但其內部ISL連接方式沒有給出，這影響了進一步細化計算其網絡容量
   - 關於資費，保守估計認爲價格可達$0.06/GB，可與地面ISP相競爭
2. 機會：低時延
   詳細分析了LEO的核心優勢是長距離的低時延，有以下數據：對Washington, D.C.和Frankfurt之間的時延，現今互聯網速度使用不同的方式分別爲46.4ms和35.8ms。使用光纖最短用時32.6ms；使用光速最短用時21.7ms，而對於衛星網絡，即使相對較小的$30^2$的星座也能實現比最優光纖更好的結果，這與光纖內傳播無法達到光速而LEO幾乎可能光速傳播有關
3. 與商業航班形成的機會網絡進行對比
   儘管能實現較小的時延，但商業飛機形成的網絡無法實現所有城市的100%%可連接。因此這個網絡可能更適合特定網絡的使用。
4. 應用價值：基於其低時延，LEO和VLEO將會對瀏覽器瀏覽、遊戲體驗、AR/VR、飛行器上聯網、車聯網等產生重要的影響
5. 挑戰：科研熱點
   - 物理拓撲設計
   受限於預算、覆蓋、延時以及地面設施等，拓撲可以在高度、軌道形狀、軌道平近點角、ISL等上進行設計
   - 路由：核心熱點
   單純的衛星路由設計會考慮衛星動態、連接和擁塞狀態等。但相較於單純的衛星路由設計，衛星網絡與地面網絡的結合設計更加複雜。比如BGP選路問題。同樣，衛星地站部署方式、服務提供方式等
   - 擁塞控制
   相較於傳統衛星傳輸方案中高誤碼高時延，LEO中沒有高時延。除此之外它更突出的問題是時延的波動性以及可預測性

下面是全文的翻譯+個人理解

摘要

一個新的太空競賽即將來臨，一些公司開始面向基於衛星的網絡連接的工作。儘管衛星網絡並不是個新問題，但近來提出的建議都是面向更高量級的帶寬和更低延遲的，在計劃中的星座都包含數千的衛星。而且這些都不是面向遙遠的未來的計劃——第一顆衛星已經發射，且大量計劃的容量已經被售賣。因此網絡研究者需要積極參與這個研究空間，不可錯過這可能最關鍵的現代網絡發展之一的技術。
第一步，我們發現這個新生的衛星網絡可能有與當前ISP網絡競爭的潛力，並在長距離傳輸中提供比當前光纖更低的延遲。我們會闡述這個網絡在幾乎所有層中當前遇到的一些獨特的問題，從拓撲設計和ISP經濟，到路由和擁塞控制

1. 概述

Tintin A和B已經在低軌的幾百千米的高度裏運行中了。這兩個測試衛星是SpaceX在2018年發射，它們作爲SpaceX的衛星星座建設計劃的一部分，目標是進行全球網絡寬帶的覆蓋。它們的發射使得他們原本的提交給FCC並以5-0通過的計劃的可行性提高。SpaceX並不孤單，它還有其他競爭者：OneWeb和LeoSat等

這些工作充滿雄心並且發展迅速，有很大的機率顛覆網絡。SpaceX的Starlink星座包括12000顆衛星，並計劃在2027年三月前完成第一階段4425顆衛星的發射。FCC的批准規定SpaceX必須在2024年3月前完成至少50%的部署。接下來的階段是計劃部署超過7000顆超低軌道（VLEO）的衛星。OneWeb有至少12億的資金支持，已經獲FCC批准發射超700顆LEO衛星，並正在申請除初始提出外的1200顆衛星的批准。在此之前，他們聲稱已經售賣了初始計劃中的很大一部分容量。

• 衛星網絡不是老古董了嗎？
  HugesNet和ViaSat已經運轉多年。這些都是同步軌道（GSO）衛星星座，並且有一個基礎的限制——35789km的高度導致超過600ms的高RTT。而且它們能提供的帶寬也有限

非同步軌道衛星也有運轉中的，但目前都只是爲了迎合利基通訊。比如中軌MEO，高度從2000km到同步軌道高度，被導航系統佔中，包括GPS、GLONASS和Galileo。在這個範圍內的還有O3b，由16顆衛星組成的星座，提供船隻、海洋平面和貧窮的陸地地區的連接。O3b宣稱只有140ms的RTT且每個連接的最大吞吐是2.1Mbps。已經及銥星NEXT衛星有更低的海拔，在LEO運行，但面向衛星電話。

因此，沒有在軌的低軌衛星星座是面向全球的寬帶互聯網連接的。這是一個新的領域。SpaceX提出了一些目標，如：讓主要的長距離互聯網通訊都在這個網絡上運行。爲此，它們計劃部署數千低軌衛星和超低軌衛星，它們的RTT與地面ISP是可比的。另外，計劃的12000顆衛星可以提供相當於整個互聯網長途光纖的容量。

因此，新提出的衛星網絡將會成爲互聯網基礎設施中的一個飛躍，可與鋪設第一條海底電纜相媲美，並且考慮其中的機會與挑戰將會是非常值得的。在我們面向這個研究方向的第一步，我們分析了這個網絡潛在的可以提供的東西；討論它們如何適應現有的環境，並將它們與其他可行性進行對比（比如重裝飛機）

我們也檢查了在這樣一個動態多跳網絡中的時延的變化性（相較於同步軌道相對於地面是靜態的）。我們的結果顯示了幾個研究中的各層面臨的挑戰，包括：物理拓撲設計；網絡路由設計；新的面向低時延的擁塞控制方案。

我們的工作是通過考慮將先進的地面網絡補充到已存在的工作，現有的工作大多是面向衛星內部的一個單獨的問題。同樣令人鼓舞的是，兩個平行獨立的工作正在用來解決相關問題，一者是專注於重構SpaceX的星座來獲取更低的時延及多徑路由；另一個是提出互聯網路由算法在當前網絡中的侷限性，尤其是增量部署的時候。

2 期望

儘管第一顆衛星已經在軌，但除了通過它的物理軌道信息可推測的信息外我們沒有其他方式獲取測量信息。因此我們討論的是一件正在發展中的人工製品，且沒有很多仿真軟件來獲取它的潛能和缺陷。但由於一些大型公司目前很有可能取得成功，所以在這樣早期的時刻進行相關討論並建立其網絡社區，讓大家瞭解現在已經知道和推測出的內容，就能最大化增強我們在這個領域的影響

我們討論期望spacex的starlink能提供的的覆蓋、帶寬和傳輸信息的耗費。Starlink目前計劃中的應該是最大也最成熟星座

• 覆蓋
  SpaceX宣稱完全部署好的Starlink將會爲地面提供100%的地理覆蓋。此星座包括分佈在5個不同傾角的83個軌道中的4425顆衛星，平均海拔1160km。緊接着是7518顆分佈在335-346km的VLEO星座。接收服務需要相控陣天線，大小約一個披薩。因此這排除了像智能手機這樣直接的端到端的通信的可能
• 帶寬
  宣稱每顆衛星將會有20Gps的下行速度。對於最終12k顆衛星的部署，綜合的下行帶寬將會達到240Tbps，與當今估計的光纖容量295Tbps相當。一個問題是當前星間鏈路ISL如何設計並沒有給出。但即使一個稀疏的ISL（如每顆衛星4個）也會得到一個很大的骨幹容量（甚至在考慮了每個端到端連接的幾個衛星間跳轉之後也是如此）
• 數據傳輸耗費
  SpaceX估計的部署整個星座的耗費是100億美金，衛星預計壽命5年，而整個星座的更換花費約40億（預計隨着技術發展更換時耗費下降）。保守計算認爲發射花費100億，綜合下行容量240Tbps。如果只有10%被使用，而想要獲得部署代價的3倍的收益，那麼價格爲$0.06/GB。這個保守估計已經與當前的寬帶價格可匹配了。因此，這樣的網絡將能與地面的ISP相爭，因爲它們在長途通信中提供較低時延

3 機會：低時延

非同步軌道一個核心優勢是低時延。地面ISP能爲網絡連接設計較好的地區及地理上較近的區域提供較低的時延，而LEO能爲長距離傳輸節省時間，因爲它能提供更短的物理傳輸距離以及更接近於光速的速度

3.1 指定的衛星星座

建立一個簡單的框架來評估衛星星座，這能讓我們通過改變軌道及軌道內衛星數來改變星座大小。下面是我們的模型介紹。

• 衛星軌道
  衛星軌道之間等距。爲了確定一個軌道，需要8個參數。通過改變升交點赤經（RAAN）來產生不同的軌道平面，改變平近點角（MA）指示在同一個軌道的衛星位置。軌道傾角設定爲90°，因此都是極地軌道。離心率設定爲0，因此軌道是圓的。對0離心率的軌道，近地點一般在升交點（衛星從南向北運行時與赤道的交點）出現，近地點的參數因此設定爲0。平均運行速度（2Π/P）根據衛星的高度而變化。設定衛星高度爲1160km，這是Starlink的FCC規範的平均高度。使用pyephem生成和檢索衛星在不同時間點的軌道及位置（經緯度、海拔）。使用NaSa的GMAT工具來可視化軌道。如圖爲示例
  
  Starlink計劃中有大部分衛星在低傾角（53°-81°）中，以使它們能在人口密集區能有更長時間。我們決定推遲分析未來工作中這個嚴格的配置，因爲上面簡單的配置將會允許我們更簡單的評估星座密度的影響，也能反應小星座，如LeoSat的設計。爲了可視化非極地軌道對赤道的更大覆蓋，下圖進行了展示。圖中展示了包含9顆衛星的3個軌道，軌道傾角53°但RAAN不同
  
• 星間鏈路
  每顆衛星有4個ISL：2個與同軌的前後兩顆衛星，2個與鄰居軌道的衛星。前兩者在極地時關閉，因爲那時衛星間相對速度過大。這些假設都是與LeoSat的FCC文件時一致的，同樣與銥星一致。這些ISL使用自由空間光學，在真空中以光速運行

3.2 估算端到端延遲

在所有軌道、星鏈都確定以後，我們可以估算任何時刻兩個不同的地站之間的時延。我們在2h中以1min爲粒度進行計算。認爲1min內拓撲是靜態的。這種假設是合理的因爲在這個粒度內相對位置不會發生太大的變化（任意兩個衛星之間的相對位置變化最大不會超過2%）。我們使用Dijkstra算法，根據可見性計算兩個目標地站之間的最短路徑，然後將計算得到的距離轉換爲時延。轉換時認爲傳播速度爲光速，並忽略錯誤糾正及其他開銷

上圖表現了在不同的星座大小時Washington, D.C.和Frankfurt之間的時延。設定衛星的大小爲$N^2$，$N^2$表示N個軌道，每個軌道有N顆衛星。N={10, 15, 20, …, 50}。圖中顯示現今互聯網速度使用不同的方式分別爲46.4ms和35.8ms。使用光纖最短用時32.6ms；使用光速最短用時21.7ms
從圖中可以看到，即使相對較小的$30^2$的星座也能實現比最優光纖更好的結果。中位路徑使用12個衛星躍點，但這可以通過與我們測試的簡單ISL配置不同的ISL配置來減少。更稠密的星座做只會實現更低的時延。稀疏星座可能會出現兩個地方無法連接的狀況
我們也發現在Frankfurt和São Paulo之間的中間值延遲是98ms（$50^2$）到121ms（$10^2$）之間。LeoSat宣稱的示例延遲是102ms，它們的LEO星座是108顆衛星的。因此可能他們列出的是最低延遲而不是中位數延遲。

3.3 打破當今時延前沿

（這部分我細節方面沒看懂，直接谷歌翻譯的）

在Frankfurt-DC段中，我們評估稠密的LEO衛星可以實現比現在網絡低35%的時延，比地面可達到的最優（使用愛爾蘭電纜）的低16%。但即使使用最快的愛爾蘭電纜也並不是最小的時延。儘管衆所周知，高頻交易商已經在某些內陸航線上實現了次光纖延遲，但在這個癡迷於延遲的行業中，跨大西洋延遲有多低?衛星網絡相較於他們的時延是怎樣的呢？
我們使用的是美國勞工統計局(BLS)的非農就業數據，該數據於每個月的第一個星期五上午8:30在華盛頓特區發佈。我們使用的交易時間是(a)在CME(位於伊利諾伊州奧羅拉的芝加哥商品交易所數據中心)交易的E-mini標準普爾500期貨;(b)在歐洲期貨交易所(位於德國法蘭克福)交易的歐元-德國國債期貨(FGBL)。我們假設勞工統計局新聞既不知道也不提前交易,而交易時間戳是準確的在100∼10 -µs水平(合規)。
Aurora 和 Frankfurt交易活動之間的時間差異，∆AF，可以從BLS消息後唯一可識別的交易爆發中得到高度可信的推斷。考慮到DC-Aurora和DC-Frankfurt新聞傳輸是同時開始的，如果我們可以估算出DC-Aurora的延遲，LA，我們可以估算出DC-Frankurt的延遲爲LA +∆AF。
DC-Aurora的位置相距1004.52公里(即，最低爲3.35毫秒)。我們估計LA = 4 ms，這是基於一個合理的假設，即HFTs使用的網絡與之前分析的其他陸內段類似
我們評估DC-Frankfurt15個延遲事件，每個事件對應於Q1-2 2016期間的BLS新聞公告。上圖包含這15個事件的結果。一些觀察到的延遲已經優於可達到的最好的光纖，推測是使用機會短波無線電通信。但忽略方法，這些測量結果表明，延遲甚至比假想理想光纖還低的網絡已經在大西洋兩岸的小衆部署中得到應用。但更有意思的是，小於當前計劃中的衛星星座甚至能符合甚至提升這個更嚴格的基線，也就是說在時延方面戰勝當今的前沿。
LEO衛星因此可能能提供降低橫穿海洋的網絡延遲的方案，這是甚至最近提出的大陸內部網絡接近c延遲的研究也沒有解決的問題。

3.4 最後一英里的潛力

前面討論了LEO在長距離傳輸可以在時延上戰勝地面光纖，但如果個人家庭或企業消費者直接連接到衛星星座，將這些作爲他們的主要連接呢?

根據Starlink FCC的文件，他們的LEO衛星可以覆蓋地球表面半徑爲1230公里的區域。對於不同大小的均勻LEO星座，我們計算從隨機地面位置到其最近衛星的單向延遲。我們同樣也是持續2小時實驗，時間間隔1min，假定光速傳播，下圖表現了最後一英里的變化

除了在極地地區，在其他地區也可以得到類似的結果。對稀疏星座，如果限制每個衛星的覆蓋區域，就會有長時間處於不可連接狀態衛星越密集，延遲和變化越小

儘管考慮到誤差校正的影響和衛星應答器的能力可能會削弱這種優勢，但這些延遲比主要的地面網絡服務提供商觀測到的延遲要小。有時由於高降水而可能造成的破壞使這種網絡比陸地網絡更不可靠，但對於地面網絡貧瘠地區，LEO網絡能提供面向高帶寬和低時延的好的解決方案

3.5 更低的海拔？

最近的工作提出了一個機會主義的、容忍延遲的網絡，利用現有的商業航班將互聯網覆蓋擴展到偏遠地區。我們在不同的方面（如降低延遲）上評估了這個方法，並將它的容量與LEO衛星進行對比
我們使用FlightAware API來獲取所有機載飛機在任何時候的位置，並移走了低於50米高度的飛行器。然後我們假定微波爲媒介，通過空中的一系列飛機來評估期望的地面位置對之間的瞬時連接性。我們每隔15分鐘重複這個練習，持續兩天，觀察這種連接是如何隨時間變化的。
爲了評估瞬時的連通性，我們使用A啓發式搜索來尋找由飛行中的飛機作爲目標地面位置之間的跳躍組成的路徑。我們使用的A搜索啓發式是從每架飛機到目的地的直線距離。飛機之間可見就會被認爲是鄰居。這是通過計算每個平面根據其海拔高度在地球表面上可以看到的距離來確定的，並且如果任意兩個平面的這些距離之和小於彼此之間的距離，則它們彼此可見。這個計算方法未考慮大氣折射的影響，折射能提升可見性，所以這是一種保守的計算方法。我們也假設通訊頻率足夠低因此雲霧不會中斷通信。分析中忽略障礙和地形的影響（這對10km左右的飛行器影響很小）


上表是一些大城市作爲端點的一些城市對的性能，上圖可視化了一個快照。對一些城市，沒有辦法實現100%可連接，但當連接存在時，時延很低，在大多數城市對的測試中，超過測地線距離的平均通脹率都很小，這是因爲這個方案防止了大多數LEO面臨的海拔消耗

這個方案對全球互聯網連接來說是不合適的，而LEO更爲符合條件。但對一些利基設施，如HFT，這個方案是可行的。特別是，使用飛機連接幾個“1萬億美元俱樂部”的股票交易所(表中的城市屬於其中)是可行的。

3.6 應用

LEO承諾的數十ms延遲的降低將會很大的提升當今的應用，包括瀏覽器和遊戲。以Frankfurt-DC爲例，一個互動遊戲中參與者之間的交互延遲將會降低接近40ms。這在一些研究中表示這樣的延遲降低將會很大提升遊戲體驗

VLEO衛星由實現10msRTT的潛力，這將有益於AR/VR的應用。這些優勢對移動應用，如飛機上的連接以及車聯網都是矚目的。以前的研究中已經細節討論了降低時延的優勢

4 挑戰

分析表明LEO網絡在資費上可與ISP相爭，對長距離通訊還能有明顯的時延降低。SpaceX的目標，比如作爲主要的長距離通信網絡，似乎是合理的。但這個網絡在設計和操作上還存在一些挑戰

4.1 物理拓撲設計

我們第一部分的分析使用的是一個簡單的拓撲模型。但實際的衛星需要考慮地面用戶分佈以及已有的網絡基礎設施。而且整個系統有多個高度的衛星。即使是我們是否只用圓形軌道都是不可知的：橢圓軌道能在特定區域停留更長時間，但會有更高時延。另外，如果不同軌道採用相同的平近點角的話（也就是不同軌道同時處於相同緯度），相對速度很低但沿地面的線會變長，這似乎不是最優選擇。因此，尋找最優拓撲是一個開放的問題，受限於預算、覆蓋、延時以及地面設施

4.2 路由

表面上，衛星路由似乎很簡單：儘管系統是動態地，但衛星軌道一直連接在一大段時間是穩定的因此可用於計算可用路由。當然，也有一些複雜場景考慮連接和擁塞狀態。

高密度LEO網絡對路由最有趣的影響在於它們與當今網絡生態系統的影響。如圖，地面4個AS與衛星AS建立peer關係。$AS_1$與$AS_3$之間有兩個通道——通過$AS_2$或通過$AS_{Sat}$。根據地理距離可以決定時延，所以根據時延選擇$AS_2$更近。

目前地面的路由選擇已經經歷了一個很長的研究歷史，已經非常複雜，代理性能很低。將LEO加入這之中，只會讓這樣的系統更加複雜，增加部署的壓力

另一個問題是，地面碎片化的AS會可能因爲衛星網絡長距離傳輸的優異性，全都和衛星這個巨大的AS連接成peer關係，這將是互聯網“扁平化”的一個極端，這可能對互聯網的可靠性和安全性有幾個影響。如果多個衛星網都建立並競爭與地面網建立peer關係，就會出現另一個問題：和地面ISP的複雜不同，衛星ISP的拓撲和網絡是已知的，對peer而言它的透明度很高

而且我們仍不明晰衛星ISP是如何提供服務的。它應該將地面站部署在適合進行對等傳輸的位置(如IXPs)，還是計算地面站的分佈以實現更均勻的覆蓋？它應該爲客戶和同行提供更大的靈活性來選擇通過它的路由(考慮到前面提到的這種設置的自然透明性)，甚至支持按需的遠程連接，還是通過內部處理這些複雜性來提供更傳統的接口？服務水平協議應該是什麼樣的，特別是在延遲可變性更高的情況下，以及在鏈接可用性較低的情況下？路由問題有很多值得探究的

4.3 擁塞控制

傳統衛星網絡中研究TCP變體在衛星網的應用，很突出的特色是高時延高誤碼。但對於LEO，它的時延出現量級的降低，這些設計就需要進行改變。另一個衛星網絡的特色是時延多變性，這是區別於靜止軌道的地方，下圖展示了25^2的LEO星座爲Frankfurt-DC提供服務時二者之間的時延變化。時延在32ms附近有大約5ms的波動。時延的波動與衛星的密度有關，小密度的時延變化大。而即使高密的星座也是增量部署的，所以時延的多變性仍需要考慮。

目前還不清楚，即使是最近的擁堵控制建議，如PCC、BBR和Copa，在這種情況下如何收費。PCC Vivace過濾掉了小的隨機RTT變化和抖動，但是我們設置的變化幅度超過了其閾值。BBR和Copa試圖估計無排隊RTTs作爲端到端RTT測量的最小值，但在這裏，最小RTT本身是隨時間變化的。總的來說，總的來說，端到端協議很容易將網絡傳播延遲的變化與排隊動力學混淆。因此，即使最好的擁塞控制協議需要重新評估

一個可能的方案時將預測的或已知的物理層的時延告知擁塞控制算法。這種跨層機制可以通過將端到端傳輸連接分成三個部分來實現，其中中間部分是由衛星提供商操作的自定義系統;或者它可以端到端的實現，但是會遇到更大的部署障礙

5 結論

我們對低軌衛星星座進行了粗略的分析，發現它們能提供相較於地面網絡而言巨大的時延降低。在知道這個優勢以後，一些新的需要解決的問題，如擁塞控制、拓撲設計，並重看了一些舊的方案，如性能感知路由。我們希望我們關於機會和挑戰的討論能幫助爲這個新的研究可能建立一個研究框架

可用引用：

1. 中軌衛星：
   導航系統
   GPS:The Global Positioning System. https://www.gps.gov/, 2018.
   GLONASS : IAC. GLONASS. https://www.glonass-iac.ru/en/, 2018.
   Galileo: European Commission. Galileo. https://tinyurl.com/ydbcrgjh, 2018.
   船隻及通訊能力差的地區通訊：O3b，16顆衛星
   SES. https://www.ses.com/networks/, 2018.
   O3b Networks and Sofrecom. Why Latency Matters to Mobile Backhaul. https://tinyurl.com/yc4vor3e, 2017.
2. A. Rebatta. 295 Tbps: Internet Traffic and Capacity in 2017. https:
   //tinyurl.com/y73pq8u4, 2017.
   SpaceX的12000顆VLEO可以提供相當於整個互聯網長途光纖的容量！！！
3. B. C. Rhodes. PyEphem. http://rhodesmill.org/pyephem/, 2008. 檢索衛星位置（經緯度和高度）
4. NASA. GMAT tool. https://software.nasa.gov/software/GSC-17177-1. 可視化軌道
5. WonderNetwork. Global Ping Statistics. https://wondernetwork.com/
   pings. 城市之間的時延
6. A. Singla, B. Chandrasekaran, P. B. Godfrey, and B. Maggs. The
   Internet at the Speed of Light. In ACM HotNets, 2014. 降低時延可以帶來的細節上的優勢