SQL智能代碼補全引擎【sql-code-intelligence】介紹

sql-code-intelligence 支持標準的Spark SQL補全，也支持MLSQL語法補全。

其基本交互方式是，前端將當前用戶正在書寫的SQL腳本以及當前的光標所在的行列號傳遞給sql-code-intelligence，sql-code-intelligence會給出一串提示列表。

標準Spark SQL 提示支持

譬如當前用戶書寫的SQL如下，鼠標在第三行第十列

此時系統會提示：

1. a [表名]
2. jack1展開的所有列
3. no_result_type
4. keywords
5. search_num

MLSQL支持

如下語句：

假設db.table1 表的字段爲a,b,c,d 其中鼠標在低3行第七列，在此位置，會提示：

1. table3
2. a
3. b
4. c
5. d

可以看到，系統具有非常強的跨語句能力，會自動展開*，並且推測出每個表的schema信息從而進行補全。

使用體驗

下載地址：sql-code-intelligence

下載後 tar xvf sql-code-intelligence-0.1.0.tar 解壓,執行如下指令即可運行：

java -cp .:sql-code-intelligence-0.1.0.jar  tech.mlsql.autosuggest.app.Standalone  -config ./config/application.yml

默認端口是9004.

接口使用

訪問接口： http://127.0.0.1:9003/run/script?executeMode=autoSuggest

• 參數1： sql SQL腳本
• 參數2： lineNum 光標所在的行號 從1開始計數
• 參數3： columnNum 光標所在的列號，從1開始計數

下面我直接用了一段scala代碼訪問接口，大家也可以用PostMan:

object Test {
  def main(args: Array[String]): Unit = {
    val time = System.currentTimeMillis()
    val response = Request.Post("http://127.0.0.1:9003/run/script").bodyForm(
      Form.form().add("executeMode", "autoSuggest").add("sql",
        """
          |select spl  from jack.drugs_bad_case_di as a
          |""".stripMargin).add("lineNum", "2").add("columnNum", "10").build()
    ).execute().returnContent().asString()
    println(System.currentTimeMillis() - time)
    println(response)
  }

}

返回結果如下：

[{"name":"split",
"metaTable":{"key":{"db":"__FUNC__","table":"split"},
"columns":[
{"name":null,"dataType":"array","isNull":true,"extra":{"zhDoc":"\nsplit函數。用於切割字符串，返回字符串數組\n"}},{"name":"str","dataType":"string","isNull":false,"extra":{"zhDoc":"待切割字符"}},
{"name":"pattern","dataType":"string","isNull":false,"extra":{"zhDoc":"分隔符"}}]},
"extra":{}}]

可以知道提示了split,並且這是一個函數，函數的參數以及返回值都有定義。

自定義表Schema信息

我們知道，如果有Schema信息，對提示的幫助會非常大，【SQL Code Intelligence】目前讓用戶有三種可選方式：

1. 主動註冊schema信息 （適合體驗和調試）
2. 提供符合規範的Rest接口，系統會自動調用該接口獲取schema信息 （推薦，對本項目無需任何修改）
3. 擴展【SQL Code Intelligence】的 MetaProvider，使得系統可以獲取shcema信息。 (啓動本項目時需要註冊該類)

這裏我們簡單介紹下第一種使用方式。

我下面是使用scala代碼完成，用戶也可以使用POSTMan之類的工具完成註冊。

def registerTable(port: Int = 9003) = {
    val time = System.currentTimeMillis()
    val response = Request.Post(s"http://127.0.0.1:${port}/run/script").bodyForm(
      Form.form().add("executeMode", "registerTable").add("schema",
        """
          |CREATE TABLE emps(
          |  empid INT NOT NULL,
          |  deptno INT NOT NULL,
          |  locationid INT NOT NULL,
          |  empname VARCHAR(20) NOT NULL,
          |  salary DECIMAL (18, 2),
          |  PRIMARY KEY (empid),
          |  FOREIGN KEY (deptno) REFERENCES depts(deptno),
          |  FOREIGN KEY (locationid) REFERENCES locations(locationid)
          |);
          |""".stripMargin).add("db", "db1").add("table", "emps").
        add("isDebug", "true").build()
    ).execute().returnContent().asString()
    println(response)
  }

創建表的語句類型支持三種:db,hive,json。 分別對應MySQL語法，Hive語法，Spark SQL schema json格式。默認是MySQL的語法。

接着就係統就能夠提示了：

 def testSuggest(port: Int = 9003) = {
    val time = System.currentTimeMillis()
    val response = Request.Post(s"http://127.0.0.1:${port}/run/script").bodyForm(
      Form.form().add("executeMode", "autoSuggest").add("sql",
        """
          |select emp from db1.emps as a          |""".stripMargin).add("lineNum", "2").add("columnNum", "10").
        add("isDebug", "true").build()
    ).execute().returnContent().asString()
    println(response)
  }

這個時候系統已經能投提示 empid 和empname字段了。

項目地址

sql-code-intelligence 歡迎使用和下載。