原创 Django自定義用於Views的裝飾器
Django自定義用於Views的裝飾器 不帶參數的裝飾器 from functools import wraps def object_does_not_exist(func): @wraps(func)
2020-06-15 05:25:36
2
原创 Django中url模板使用總結
Django中url模板使用總結 1.簡單正則匹配 使用方法 template.html <a href="{% url 'list_delete' i.id %}">刪除</a> <a href="{% url 'list
2020-06-15 05:25:36
1
原创 Spark Streaming從1.4.1升級至2.0.0-preview遇到的問題彙總
Spark Streaming從1.4.1升級至2.0.0-preview遇到的問題彙總 Spark Streaming以及Kafka依賴問題(pom.xml) 1.4.1 <dependency> <groupId
2020-06-15 05:25:36
原创 在Django中如何正確完整地刪除一個App
在Django中如何正確完整地刪除一個App 1.刪除models.py 無論是刪除一個單獨的model還是刪除整個App,都需要首先刪除models.py文件中的模型。 確認沒有其他文件引用models.py中的類。 遷移或
2020-06-15 05:25:36
192
原创 如何用Spark實現一個通用大數據引擎
Github 上的開源項目 Waterdrop，此項目Star + Fork的有將近1200人，是一個基於Spark和Flink構建的生產環境的海量數據計算產品。Waterdrop的特性包括 簡單易用，靈活配置，無需開發； 同時
2020-06-15 05:25:26
原创 Elasticsearch深度分頁問題以及Scroll查詢的一些總結
背景介紹 我們在 Elasticsearch API的基礎上實現了一個日誌查詢系統，支持最基本的時間範圍選擇以及關鍵詞搜索高亮，並且日誌展示的表格支持異步分頁。 有天用戶反饋，查詢的時候頁面報錯 Result window is
2020-06-15 05:25:26
13
原创 從Flink上談當今實時流處理
0. 序 在當前數據量激增傳統的時代，不同的業務場景都有大量的業務數據產生，對於這些不斷產生的數據應該如何進行有效地處理，成爲當下大多數公司所面臨的問題。 但隨着數據的不斷增長，新技術的不斷髮展，人們逐漸意識到對實時數據處理的重要性，企
2020-04-27 16:33:15
2
原创 Golang Benchmark Test
內部程序是CPU密集型計算，因此編寫了 Benchmark 測試算子的性能，並且希望在此基礎上，將 Benchmark 在各服務器上執行，驗證服務器性能情況。 Benchmark 編譯 go test -c -test.be
2020-04-24 13:37:41
原创 Spark 2.0.0-preview流式處理環境部署
Spark 2.0.0-preview流式處理環境部署 環境準備 Hadoop Yarn Hadoop 2.5.0-cdh5.3.2 Intellij Idea Intellij IDEA 2016.3 其他 java
2020-02-20 23:17:48
原创 使用Python往Elasticsearch插入數據
使用Python往Elasticsearch插入數據 在這裏，我使用Elasticsearch官方推薦elasticsearch第三方包來講述插入數據的兩種方法。 1. index 這是很簡單的一個插入數據的方法，每條數據
2020-02-20 23:17:48
原创 Elasticsearch CURL操作方法
Elasticsearch curl操作 _cat操作 curl localhost:9200/_cat =^.^= /_cat/allocation /_cat/shards /_cat/shards/{index} /_c
2020-02-20 23:17:47
原创 Elasticsearch query_string語法查詢
Elasticsearch query_string語法查詢 1.根據字段名查詢(Field names) 接口(interface)爲app interface: app 接口(interface)爲app或live
2020-02-20 23:17:46
原创 Linux下使用命令行獲取網頁截圖
Linux下使用命令行獲取網頁截圖 環境準備 Linxu系統 centos 7 Python Version Python 2.7.5 Git Version 1.8.3.1 安裝Python-webkit2pn
2020-02-20 23:17:46
原创 Waterdrop推動Spark Structured Streaming走向生產環境
前言 StructuredStreaming是Spark 2.0以後新開放的一個模塊，相比SparkStreaming，它有一些比較突出的優點： 它能做到更低的延遲; 可以做實時的聚合，例如實時計算每天每個商品的銷售總額； 可以做流
2019-04-16 11:29:25
4
原创 ElasticSearch pinyin分詞支持多音字
ElasticSearch pinyin分詞支持多音字 背景 我們有一個搜索業務底層採用ElasticSearch作爲搜索引擎，在索引的過程中，使用了ik中文分詞、拼音分詞、同義詞等多種分詞器。ES和各種插件的組合已經能滿足我們線上9
2019-03-29 15:31:57
15