原创 Python學習筆記-gRPC

gRPC概述 gRPC是一款高性能、開源的 RPC 框架，產自 Google，基於 ProtoBuf 序列化協議進行開發，支持多種語言（Golang、Python、Java等）。gRPC對HTTP2.0協議的支持使其在 Android、I

2020-02-22 11:17:10

原创 Python學習筆記-Spark操作Hive

爲了用Spark支持Python，Apache Spark社區發佈了一個工具PySpark。 PySpark在線安裝： pip install -U -i https://pypi.tuna.tsinghua.edu.cn/simple

2020-02-22 11:17:10

原创 推薦系統筆記-05-用戶基於內容召回集

1、相關環境 hadoop-2.10.0 hive-3.1.2 hbase-2.2.2 spark-2.4.4 2、相關表結構 HBase alter 'multiple_recall', {NAME=>'content', TTL=

2020-02-22 11:17:10

原创 推薦系統筆記-06-CTR排序模型LR

1、相關環境 hadoop-2.10.0 hive-3.1.2 hbase-2.2.2 spark-2.4.4 2、相關Python實現 # -*- coding:utf-8 -*- import os import sys impo

2020-02-22 11:17:10

原创 推薦系統筆記-07-離線特徵數據集

1、相關環境 hadoop-2.10.0 hive-3.1.2 hbase-2.2.2 spark-2.4.4 2、相關表結構 HBase create 'ctr_user_features', 'cf' create 'ctr_a

2020-02-22 11:17:10

原创 推薦系統筆記-03-用戶畫像

1、相關環境 hadoop-2.10.0 hive-3.1.2 hbase-2.2.2 spark-2.4.4 2、相關表結構 Hive CREATE TABLE T_USER_OP_LOG( USER_ID BIGINT, ARTI

2020-02-22 11:17:10

原创 推薦系統筆記-02-文章相似計算

1、相關環境 hadoop-2.10.0 hive-3.1.2 hbase-2.2.2 spark-2.4.4 2、相關表結構 HIVE CREATE TABLE T_ARTICLE_VECTOR( ARTICLE_ID STRING

2020-02-22 11:17:10

原创 推薦系統筆記-08-在線基於內容召回排序

1、相關環境 hadoop-2.10.0 hive-3.1.2 hbase-2.2.2 spark-2.4.4 kafka-2.12-2.4.0 zookeeper-3.5.6 spark-streaming-kafka-0-8_2.11

2020-02-22 11:17:10

原创 學習筆記-Supervisor進程管理

Supervisor是一個進程管理工具，當進程中斷的時候Supervisor能自動重新啓動它。可以運行在各種類unix的機器上，supervisor就是用Python開發的一套通用的進程管理程序，能將一個普通的命令行進程變爲後臺daemo

2020-02-22 11:17:10

原创 知乎上40個有趣回覆，很精闢

原文鏈接：https://www.jianshu.com/p/67799e929c64 01.交朋友的標準是什麼？ 出世的智者，入世的強者，或者正常而陽光的普通人。   02.有哪些可以令人清醒

2019-09-15 23:27:54

原创 ElasticSearch學習筆記-Vector向量搜索記錄

在Elasticsearch 7.0中，ES引入了高維向量的字段類型： dense_vector存儲稠密向量，value是單一的float數值，可以是0、負數或正數，dense_vector數組的最大長度不能超過1024，每個文檔的數組長

2019-09-15 23:27:53 42

原创 Python學習筆記-gensim初識Word2Vec、Doc2Vec

安裝依賴工具包： pip install -U gensim 安裝過程中出現已經安裝過的工具包衝突可以uninstall或刪除Lib目錄下相關包或使用： pip install -U gensim --ignore-installed s

2019-09-08 23:11:08 7

原创 ElasticSearch學習筆記-鄰近匹配搜索記錄

ElasticSearch版本：elasticsearch-7.3.0 環境準備： curl -H "Content-Type: application/json" -XPUT 'http://192.168.0.1:9200/arti

2019-09-04 23:24:08 1

原创 ElasticSearch學習筆記-插件安裝記錄

HEAD插件安裝 官方地址 https://github.com/mobz/elasticsearch-head 2.x.x 版本： bin/plugin install mobz/elasticsearch-head 5.x.x、6.x

2019-09-02 23:18:13

原创 Docker學習筆記-ElasticSearch集羣搭建

Linux版本：Ubuntu 16.04.2 LTS Docker版本：Docker version 17.09.0-ce, build afdb6d4 Docker Compose版本：docker-compose version 1.

2019-08-22 22:36:20