原创 java steam對象根據屬性值排序 正序 倒序
public class SortTest { public static void main(String[] args) { User user1=new User("1111",20); U
2020-07-04 05:06:02
1
原创 利用docker安裝mysql鏡像及遠程連接mysql
1、啓動docker,下載mysql5.7的鏡像 docker run -p 3306:3306 --name mysql5.7 -v /data/mysql5.7/conf:/etc/mysql/conf.d -v /data/mysq
2020-06-16 11:50:46
原创 利用scrapy抓取數據，批量插入mysql
具體抓取代碼沒什麼好講的，要注意的地方就是將抓取的數據插入數據庫。 每1000條數據提交一次數據庫： pipelines.py def process_item(self, item, spider): try:
2020-06-16 11:50:46
原创 python3 讀取配置文件
有時候腳本里面會包含一些配置信息。如何讀取配置文件的信息： 結構： properties.conf [mysql] ip=192.168.1.102 user=root password=123 db=test [redis] ip
2020-06-16 11:50:46
原创 利用asyncio併發下載pdf並同步到七牛雲網盤
#pdf下載並上傳到七牛雲 # -*- coding: utf-8 -*- import aiohttp import asyncio import redis import re import time import os import
2020-06-16 11:50:46
原创 elasticsearch學習1—springboot整合：基本使用，分頁
1、創建springboot項目，pom依賴如下： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-
2020-06-16 11:50:46
原创 rabbitmq學習5-springboot和rabbitmq的發佈訂閱模式
問題：如下圖，可以看到，監聽隊列的消費者會從隊列中獲得消息。比如隊列中共有5條消息，這兩個監聽隊列的消費者會從隊列中共獲得共5條消息。C1監聽到3條消息，C2監聽到2條消息；或者C1監聽到4條消息，C2監聽到1條消息... 如果我想每個
2020-06-16 11:50:46
原创 python操作mysql 多參數insert,獲取自增id
# coding:utf-8 import configparser import pymysql config = configparser.ConfigParser() config.read('mysql.conf') lists_
2020-06-16 11:50:46
原创 DataX 阿里巴巴 離線數據同步工具/平臺使用2———mysql to elasticsearch
將mysql數據同步到elasticsearch 安裝的mysql和elasticsearch在同一臺服務器上，elasticsearch版本6.5.1 1、安裝DataX 下載源碼：https://github.com/alibaba
2020-06-16 11:50:46
原创 在linux環境下用python2操作mysql
有時候需要在服務器上通過python腳本操作數據庫，這時就有一個問題，linux上默認安裝的python2.7,但是沒有操作mysql腳本需要的相關模塊。 解決： 1、下載pip wget https://bootstrap.pypa.i
2020-06-16 11:50:46
原创 ElasticSearch查詢之聚合查詢
一、ES的demo數據如下： 二、簡單聚合，獲得平均分 GET /student/student/_search { "aggs": { "avg_score": { "avg": { "fiel
2020-05-08 04:21:32
原创 ElasticSearch查詢之bool查詢及java調用bool查詢demo
其實之前關於ElasticSearch的一些書，感覺對於查詢是有點懵逼的，一會查詢，一會過濾查詢。而且有的語法在6.x的版本上已經廢棄了。所以看起來更加困惑了。五一這兩天又靜下心來看了一些，感覺像我平時的一些基本使用，用bool查詢都可以
2020-05-04 18:02:30
原创 ElasticSearch查詢之exists使用
exists允許你過濾文檔，只查找那些在特定字段有值的文檔，無論其值是多少。demo如下： 1、索引中的數據如下： 2、查詢語句如下 GET account/account/_search { "query": { "boo
2020-05-04 18:02:30
原创 java 對接webservice原來這麼容易
之前寫過一篇springboot對接webservice的文章https://blog.csdn.net/qq_15058425/article/details/103732273，發現我把對接webservice搞複雜了，而且我最近在對
2020-03-14 07:28:37
1
原创 工作中遇到的excel使用技巧-列轉行
場景：有時候會收到excel的表格，然後要處理這些數據。自己遇到的比較多的就是列轉行。就是將一列數據，合併到一個單元格中 比如將如下的A列數據，給合併成B列中的一個單元格的數據。對於B列的單元格這樣的數據，在sql和代碼中就比較好用了
2020-03-07 03:04:28