原创 elasticsearch實用篇之基礎查詢

之前一直按照官方文檔翻譯elasticsearch的部分,根據官網筆者總結了幾個是實用的基礎查詢。 一、簡單的term查詢 { "query":{ "term":{ "字段名": "值

原创 python之常用的時間格式轉換

記得導入需要的包例如: import datetime import time 1.utc時間轉化爲當地時間(cst時間) def utc2local(utc_date): now_stamp = time.time()

原创 elasticsearch之Search API

現在我們開始一些簡單的搜索。 運行檢索的一共有兩種方式: 一種是通過發送搜索參數REST請求URL,另一種是發送請求主體 1.發送搜索參數REST請求 GET /bank/_search?q=*&sort=account_

原创 Java之Integer數值比較

工作中偶然遇到下面的問題,mark以下 Integer數值比較。下面展示測試代碼。 public static void main(String[]args){ testInteger(); }

原创 elasticsearch實用篇之head工具安裝以及使用

在elasticsearch已經正常安裝的情況下 elasticsearch-head的安裝以及使用 Elasticsearch Head是集羣管理、數據可視化、增刪改查、查詢語句可視化工具。下面是安裝步驟 一、下載elastic

原创 PHP之0與空字符串關係測試以及詳解

工作中遇到一個奇怪問題 0=”“或0=” 爲何??? 測試代碼 <?php //定義單雙引號是因爲php中單雙引號表達的含義不同 $zero_string = '0'; $zero_string_shuang = "0";

原创 maven java項目打包發佈插件 maven-assembly-plugin

1.插件安裝在pom.xml中配置 <plugins> <plugin> <artifactId>maven-assembly-plugin</artifactId> <version>2.4.1</

原创 Java之IntegerCache簡單介紹

廢話不說上代碼 /** * 緩存測試 * @param args * @throws NoSuchFieldException * @throws IllegalAccessExceptio

原创 elasticsearch實用篇之kibana安裝以及使用

kibana是由elsticsearch官方提供的一個管理elasticsearch的工具。 一、下載kibana 官網地址:https://www.elastic.co/downloads/kibana 選擇適合自己的

原创 python 重定向獲取真實url

樓主在做公司項目的時候遇到url重定向的問題,因此上網簡單查找,作出如下結果 由於使用的是語言是python所以以下是python的簡單解決方案 http_headers = { 'Accept': '*/*','Connecti

原创 JAVA Mac Maven項目搭建及一些初級配置

最近剛接觸公司爬蟲,由於爬蟲代碼使用的Maven作爲項目管理工具,因此研究了一下Maven的搭建過程。Maven爲一個Java的項目管理工具,類似於npm與node的關係。以下是環境以及搭建過程 一、環境 操作系統:MacOS

原创 maven eclipse 創建包後消失,資源文件不能被識別

1.maven eclipse 創建包後消失,在eclipse上看不到 由於create Package-info.java沒有選中所以沒有創建文件,包裏面沒有文件所以包並沒有顯出來, 解決辦法 在該包的最終路徑裏面添加一

原创 git使用之忽略不需要上傳的文件的幾種方式

在我們使用git 的時候通常會遇到一些問題,一些文件我創建了但是我並不想上傳或者有些文件我修改了但是並不想上傳(爲了適應個自己的開發環境),但是在每次git status的時候總能看到它,不僅感到很心煩,而且有時會誤上傳。

原创 Java調用python之lxml解析xpath

一、需求背景: 公司有爬蟲需求,希望通過xpath解析網頁,最早的版本是調用Java版本的Jsoup來完成的,但是Jsoup只能處理一些簡單的xpath,對於一些特殊函數的xpath無法支持,後來又通過使用xpath2selec

原创 pycharm docker 配置測試環境、開發環境

pycharm docker 配置python測試環境 1、docker環境搭建 2、本地pycharm配置 3、主要原理 將本地文件同步上傳到遠程服務器,然後運行解析 具體實現 1、docker環境搭建 docker pul