03.三月風雨愁斷腸，學習大數據特別憂傷——談談AKS創建SQL Server大數據羣集創建愁斷腸
[TOC]
前言
使用AKS創建SQL Server大數據羣集有幾種方法，由於產品不斷的更新，SQL 2019也還沒有正式發佈，文檔也會發生很多錯誤，在測試SQL Big Data遇到了很多的問題，終於經過幾次嘗試搞清楚了怎麼來創建。 寫下來給大家
1、首先必須申請使用，申請鏈接 https://sqlservervnexteap.azurewebsites.net/
2、申請成功後會收到微軟SQL 產品組發的一封郵件，郵件會給你類似下面的信息：
DOCKER_USERNAME=微軟申請的用戶名 //這裏是從微軟的官方試用申請提供的用戶名
DOCKER_PASSWORD=密碼 //這是從微軟官方試用申請的試用提供的密碼
DOCKER_EMAIL=申請的信息中的mail //這是從微軟官方試用申請的試用提供的mail
3、在進行創建的過程中需要使用到此信息。
4、第一種方法直接創建aks時候就創建一個SQL Bigdata羣集，可以使用一個腳本， 部署腳本 這個腳本前提是需要之前的blog寫的大數據工具，需要安裝：
- mssqlctl
- kubectl
- Azure Data Studio
- SQL Server 2019 擴展
- python3
如何安裝參考 [SQL Server 大數據羣集 部署（二）工具篇記](SQL Server 大數據羣集 部署（二）工具篇記.md)
5、安裝mssqlctl要特別注意，如果以前安裝過一定要卸載乾淨，再進行安裝。 如果按照不正常，刪除 目錄 python\Lib\site-packages 下面mssql相關的所有文件夾
//卸載
pip3 uninstall mssqlctl
//安裝 mssqlctl最新版
pip3 install -r https://private-repo.microsoft.com/python/ctp-2.3/mssqlctl/requirements.txt
在老版本的 mssqlctl 創建的命令爲 mssqlctl create cluster name 而新版本的應該是 mssqlctl cluster create --name names。因此如果是老版本的msssqlctl一定會失敗。
另外此腳本的官方文檔是： deploy-sql-big-data-aks.py 但是官方文檔沒有及時更新其中有兩個錯誤。需要修改才能運行
1、在DOCKER_PASSWORD 下面加入參數：
DOCKER_EMAIL="" //這是從微軟官方試用申請的試用提供的mail
2、在os.environ['DOCKER_EMAIL']=DOCKER_USERNAME
更改爲
os.environ['DOCKER_EMAIL']=DOCKER_EMAIL
5、另外還有一個非常重要的提示
默認值Standard_L4s機大小不一定在每個 Azure 區域中可用。 如果您選擇不同的計算機大小，請確保在羣集中節點之間可以附加的磁盤總數大於或等於 24。 在羣集中的每個永久性卷聲明需要附加的磁盤。 目前，大數據羣集需要 24 永久性卷聲明。 例如， Standard_L4s計算機大小支持 16 個附加的磁盤，因此，三個節點表示可附加 48 磁盤。
之前由於選擇了小的機器，一直失敗，後來才發現有這樣的限制。
AKS+BigData一起安裝過程
1、使用命令
python deployment-aks-sqlbigdata.py
安裝過程如下圖所示： 這是開始安裝aks羣集
這是在安裝SQL Big Data羣集
AKS目前打開Dashboard會報錯，下載此文件dashboard-rbac.yml 執行下面代碼
kubectl create -f dashboard-rbac.yml
AKS安裝完成後再創建SQL BigData羣集
如果先按照了AKS 之後再穿件羣集可以通過mssqlctl創建。
//下面命令獲取認證配置 az aks get-credentials --resource-group AKSSQL --name sqlbigdata //打開dashboard az aks browse --resource-group AKSSQL --name sqlbigdata
創建之前可以先設定環境變量，將相應需要的參數加上。
SET ACCEPT_EULA=yes SET CLUSTER_PLATFORM=aks SET CONTROLLER_USERNAME=max SET CONTROLLER_PASSWORD= //控制器密碼 SET KNOX_PASSWORD= //門戶密碼 SET MSSQL_SA_PASSWORD= //數據庫密碼 SET DOCKER_REGISTRY=private-repo.microsoft.com SET DOCKER_REPOSITORY=mssql-private-preview SET DOCKER_USERNAME=微軟申請的用戶名 //這裏是從微軟的官方試用申請提供的用戶名 SET DOCKER_PASSWORD=密碼 //這是從微軟官方試用申請的試用提供的密碼 SET DOCKER_PRIVATE_REGISTRY="1" SET DOCKER_EMAIL=申請的信息中的mail //這是從微軟官方試用申請的試用提供的mail 使用命令創建 mssqlctl cluster create --name sqlbigdata
創建的過程如
時間大概要用20分鐘。
創建完成後預覽
創建完成後，通過dashboard可以看到的情況如下：
az aks browse --resource-group AKSSQL --name sqlbigdata
可以打開dashboard的情況
概覽
從創建的資源中可以看到創建了24個存儲卷。 這是很重要的資源。因此在虛擬機選擇的時候必須能夠掛接24個磁盤一樣才行。
總結：由於自己看文檔不仔細，也由於系統的升級，導致一直失敗。總結下來AKS創建必須的過程是：
1、先申請數據庫預覽的權限，才能夠下載到docker的SQL 的 image
2、使用的vm要足夠大。
3、創建過程比較長，要有耐心。
作者簡介： Max Shen（阿特），爲了成爲數據專家而努力，萬一實現了呢！有多年的系統運維，數據庫運維經驗。近20年的IT從業經驗，在微軟有超過10年的工作經驗。對數據庫運維調優，排錯，有獨到能力。電話微信18628037379，[email protected]