原创 SQL還是那個SQL麼?

前言今天MLSQL羣裏有個小夥伴問到,能把Spark, Flink 這些框架運行在黑莓上麼? 我回答道:可以作爲一個內置SQL計算引擎嵌入(不是數據庫),其他可能沒啥用了。不過這又引起了我的另外兩個思考,第一個是,Spark真的能(或者有

原创 React問題三則

前言這兩天在用 Blueprint+React+ServiceFramework+MySQL 爲主要組件開發一個小玩具,由衷的喜歡React了。爲啥呢?非常後端,其實就是大量編寫javascript class,而JSX非常類似Scala裏

原创 MLSQL擁抱BigDL,輕輕鬆鬆無編碼玩深度學習

前言原諒我,前半句是真的,後半句是噱頭,但是真的很簡化了。 MLSQL已經有一個相對來比較完善的Python Runtime,細節可以參看這篇文章,所以玩深度學習是很容易的,不過需要你提供一段tensorflow代碼或者項目。但是我一直認爲

原创 MLSQL 對Python的支持之路

前言Python是做機器學習框架一定要支持的。MLSQL很早就支持集成Python腳本做模型的訓練和預測。訓練的使用方式:load libsvm.`sample_libsvm_data.txt` as data; train data a

原创 如何按程序員思維寫分析師腳本

前言今天無意在在某羣裏,看到一個很複雜的SQL腳本,join很多,子查詢很多,union很多,case when也很多。然後就讓我們負責分析師腳本管理的同事給我看了下我們分析師的腳本,我發現隨便一個竟然都超了三四百行。這腳本維護起來應該是個

原创 如何使用MLSQL中的幫助指令學習模塊的使用

前言MLSQL 已經實現了文章中描述的功能 如何實現語法的自解釋(MLSQL易用性設計有感) 。使用方式在MLSQL中,你只要掌握了load 語法,以及關鍵詞model,就可以讓你順利的找到並且學習和使用一個算法或者數據處理模塊。假設你已經

原创 如何實現語法的自解釋(MLSQL易用性設計有感)

題圖:image.png突然想明白了一件事, 語法應該是自解釋的。什麼意思呢,就是用戶需要有一個學習語法的語法,而這個語法應該極度簡單,他只要花上一分鐘,甚至依靠直覺就能知道怎麼用,透過這個口,以點窺面,讓用戶具備自主學習其他語法的能力。系

原创 如何用MLSQL快速調試Structured Streaming程序

前言早上對Structured Streaming 的window函數, Output Mode 以及Watermark有些疑惑的地方。Structured Streaming 的文檔偏少,而且網上的文章同質化太嚴重,基礎的不能再基礎了,但

原创 如何實現AutoML--讓機器先做出Baseline

前言我之前寫過一篇如何實現AutoML -- 先Auto每個環節,大致思路是讓機器先自動化每一個小環節,每個環節輸出唯一一個結果,這樣可以極大的簡化搜索空間。比如我們有三個環節,A,B,C,分別產出10,10,10種可能,爲了得到全局最優,