建立在Tablestore的Wifi設備監管系統架構實現

一般大公司會有許多園區，園區內會有不同部門的同事在一起辦公。每個園區內都要配備大量的Wifi設備從而爲園區同事提供方便的上網服務。因此，集團需要一套完善的監管系統維護所有的Wifi設備。需要的朋友來一起學習下吧

Wifi設備監管

公司通過監管系統維護Wifi設備屬性、採集Wifi設備監控數據。當需要Wifi設備上、下線時，通過監管系統操作完成設備的添加、下線，同時可通過系統修改、增加設備屬性信息，如：設備mac地址、設備型號、設備地理位置等。設備上線後，會定期向系統推送監控數據，從而完成設備監控數據的採集。採集數據包含：cpu、內存、連接數、Wan口流量與流速、2.4G與5G模塊的信道數據等。

通過分析監控數據指標、分析設備運行狀態，動態將問題設備的運行狀態修改爲：預警、報警。藉助系統，網絡部門可以快速獲取問題設備列表、瞭解設備分佈、查詢歷史監控指標。同時，也可以精確鎖定老設備從而方便設備升級，或者爲長期負載率較高的位置擴充Wifi設備提供數據依據；

功能需求

1、管理Wifi設備，通過系統上線新設備、下線老設備；

2、系統擁有分組管理能力、標籤檢索能力；

3、高併發海量監控數據採集能力；

4、管理所有設備的地理分佈；

5、查詢某一區域內所有設備的位置；

6、查詢【某設備】在【某段時間】【不同指標】的監控數據；

7、低成本持久化所有數據，挖掘數據潛在價值 等等....

系統樣例，如下所示：官網控制檯地址：項目樣例

技術需求

通常，用戶在設計方案是會重點考慮以下四個主要的技術需求：

第一、需要有強大的查詢、統計能力，實現Wifi設備的管理；

第二、支撐設備高併發的監控數據採集，數據庫需要強大的寫入性;

第三、數據持久化需求導致數據膨脹，但歷史監控數據多爲冷數據，存儲成本需要儘可能低； 第四、監控數據未來挖掘潛在價值較高，產品下游需要有較好的計算生態；

表格存儲方案

表格存儲（Tablestore）在四個重要技術需求上完全滿足要求：

其一、表格存儲新商業化不久的多元索引（SearchIndex）功能支持多維檢索、GEO查詢等功能，完全滿足元數據管理需求；

其二、基於LSM tree打造的分佈式NoSQL數據庫，可以輕鬆應對海量高併發，零運維輕鬆應對數據量的不斷膨脹，理論上無上限；

其三、表格存儲按量計費，提供容量型、高性能型兩種實例類型，容量型對冷數據更適宜，提供了更低存儲成本；

其四、更重要的，表格存儲擁有較爲完善的計算生態，提供全、增量通道服務，提供流、批一體的計算體系，對未來監控數據價值挖掘提供渠道；

表格存儲在時序場景需求的技術點上擁有極高的匹配，而基於時序場景打造的時序模型（Timestream）更是將時序場景通用功能，封裝成易用的接口，使用戶更容易的基於表格存儲打造Wifi設備監管系統；

數據結構設計

首先，我們在在表格存儲中抽象出兩類數據，分別是meta類數據（設備元數據）、data類數據（監控數據）；下面對兩類數據做簡單介紹。

WiFi設備元數據

meta數據管理着用戶時間線的屬性信息，支持指標、標籤、屬性、地理位置、更新時間等參數，模型會爲所有屬性創建相應的索引，提供多維度條件組合查詢（包含GEO查詢）。其中Identifier是時間線的標識，包含兩部分：name部分（監控指標標識）、tags部分（固有不可變參數集合）。

在本樣例中，我們將“wifi”作爲指標分類，mac地址作爲不可變tag，而將其他屬性作爲可變Attributes存放爲屬性信息；

設備監控數據

data數據管理着各個時間線的監控狀態數據，可以爲量化數據、地理位置、文字表述任意類型。data數據按照+有序排列，因而同一時間線的所有數據基於時間有序，這種數據存儲方式，極大的提升了時間線的查詢效率。

我們將設備的十幾個監控數據某一時間點的監控數據存放爲一行數據，不同屬性對應不同列；依據不同測監控維度，用戶只需提供不同的columnToGet字段，獲取不同監控維度的部分指標數據，即可對應不同監控指標，如：WAN口流量：對應wan_total_in與wan_total_out兩個字段；

讀、寫接口

寫數據

寫數據提供兩類接口：Wifi設備添加、監控數據寫入

• Wifi設備添加：如果新增一個Wifi設備，需要首先向meta表中插入一條設備meta數據，通過metaTable.put(Meta)創建或修改meta信息；
• 監控數據寫入：創建完meta後，wifi設備端就可以定時、週期性地採集監控數據，並將數據推送、寫入到data表；模型設計上可支持多精度表管理，用戶可以根據自身需求管理多個精度的data數據

讀數據

與寫數據一樣，針對兩類數據提供了兩類讀接口：Wifi設備查詢、監控數據讀取

• Wifi設備查詢：根據設備分組、設備狀態、地理位置等多維度條件組合，獲取對應wifi設備列表，掌握設備的最新狀態；
• 監控數據讀取：基於單個meta的Identifier，獲取該設備某段時間內、某一指標的監控數據

核心代碼

SDK與樣例代碼

SDK：時序模型Timestream模型集成於表格存儲的SDK中，已在4.11.0版本中支持：

<dependency>
 <groupId>com.aliyun.openservices</groupId>
 <artifactId>tablestore</artifactId>
 <version>4.11.0</version>
</dependency>

代碼開源：https://github.com/aliyun/tablestore-examples/tree/master/demos/WifiMonitor

創建數據表

在創建完成實例後，用戶需要通過時序模型的sdk創建相應的meta表、data表： 不同精度監控數據存放不同表，用表名作區分，根據不同range的查詢，需要不同精度的監控數據，實例中僅用了一個精度，用戶可根據自身需求設計多個表；

private void init() {
 AsyncClient asyncClient = new AsyncClient(endpoint, accessKeyId, accessKeySecret, instance);
 TimestreamDBConfiguration conf = new TimestreamDBConfiguration("metaTableName");
 TimestreamDBClient db = new TimestreamDBClient(asyncClient, conf);
}

public void createTable() {
 db.createMetaTable(Arrays.asList(
 new AttributeIndexSchema("group", AttributeIndexSchema.Type.KEYWORD),
 new AttributeIndexSchema("id", AttributeIndexSchema.Type.KEYWORD),
 new AttributeIndexSchema("status", AttributeIndexSchema.Type.KEYWORD),
 new AttributeIndexSchema("version", AttributeIndexSchema.Type.KEYWORD),
 new AttributeIndexSchema("location", AttributeIndexSchema.Type.GEO_POINT)
 ));
 db.createDataTable("dataTableName");
}

數據寫入

數據寫入主要分兩部分，meta表添加新Wifi設備、data表採集設備監控數據

添加新Wifi設備（meta表寫入）

//metaWriter對應meta表，提供讀、寫接口
TimestreamMetaTable metaWriter = db.metaTable();

//identifier作爲時間線的身份標識（unique），含：Name、Tags，
TimestreamIdentifier identifier = new TimestreamIdentifier.Builder("wifi")
 .addTag("mac", "mock:mac:1:1")
 .build();

//基於identifier創建meta對象，併爲meta設置更多屬性，Attributes爲屬性參數
TimestreamMeta meta = new TimestreamMeta(identifier)
 .addAttribute("group", "group-1")
 .addAttribute("id", "id-1")
 .addAttribute("version", "v1.0")
 .addAttribute("status", "normal")
 .addAttribute("location", "30,120");

//創建新的時間線，然後寫入監控數據
metaWriter.put(meta);

採集Wifi設備監控數據（data表寫入）

//dataWriter分別對應data表，提供讀、寫接口
TimestreamDataTable dataWriter = db.dataTable("dataTableName");
TimestreamMeta meta；//meta上一步已經構建

//創建新的時間線，然後寫入監控數據
dataWriter.asyncWrite(
 meta.getIdentifier(),//Identifier identifier
 new Point.Builder(i, TimeUnit.SECONDS)
 .addField("cpu", 30)
 .addField("ram", 29)
 .addField("flash_used", 20)
 .addField("flash_total", 1048576)
 .build()
);

數據讀取

數據讀取分爲兩類：Wifi設備列表查詢與設備監控數據查詢

查詢Wifi設備列表（meta表讀取）

//reader對應meta表，提供讀、寫接口，此處名字爲突出讀功能
TimestreamMetaTable metaReader = db.metaTable();

//構建篩選條件
Filter filter = new AndFilter(Arrays.asList(
 Name.equal("wifi"),
 Tag.equal("mac", "mock:mac:1:1"),
 Attribute.inGeoDistance("location", "30,120", 100000)
));

Iterator<TimestreamMeta> iterator = metaReader
 .filter(filter)
 .fetchAll();

while (iterator.hasNext()) {
 TimestreamMeta meta = iterator.next();//deal with metas
}

獲取Wifi設備的監控數據（data表讀取）

//dataWriter分別對應data表，提供讀、寫接口
TimestreamDataTable dataReader = db.dataTable("dataTableName");
TimestreamMeta meta；//基於已獲取的meta列表，分別獲取每個時間線的有序監控數據

Iterator<Point> iterator = reader.get(meta.getIdentifier())
 .select("flash_used", "flash_total")//設置返回的列
 .timeRange(TimeRange.range(0, Long.MAX_VALUE, TimeUnit.SECONDS))
 .fetchAll();

while (iterator.hasNext()) {
 Point point = iterator.next();//deal with points
 long timestamp = point.getTimestamp(TimeUnit.MILLISECONDS);//毫秒單位時間戳
 long flashUsed = point.getField("flash_used").asLong();//獲取該點long類型的數據大小監控
 long flashUotal = point.getField("flash_total").asLong();//獲取該點long類型的數據大小監控
}

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持神馬文庫。