原创 springboot優雅結合redis
Redis和springboot 整合redisUtil類 Springboot整合redis(一般人都能看懂的Lettuce版本)
2020-07-06 19:32:29
1
原创 scrapy爬取抖音視頻
# -*- coding: utf-8 -*- import scrapy from douyin.items import DouyinItem import json import jsonpath # jsonpath是用來方便
2020-06-16 09:49:20
原创 Flink計算最熱門TopN商品
爲了統計每個窗口下最熱門的商品，我們需要再次按窗口進行分組，這裏根據ItemViewCount中的windowEnd進行keyBy()操作。然後使用ProcessFunction實現一個自定義的TopN函數TopNHotItems來計算點
2020-06-16 09:49:20
原创 kafka 自定義存儲offset 到mysql中
kafka0.9版本之前，offset存儲在zookeeper，0.9版本以及之後，默認offset存儲在kafka的一個內置的topic中。除此之外，kafka還可以選擇自定義存儲offset。 offset的維護是相當繁瑣的，因爲需要
2020-06-16 09:49:20
2
原创 scrapy爬取京東的數據
import scrapy from scrapy import Field class JdItem(scrapy.Item): # define the fields for your item here like:
2020-06-16 09:49:20
2
原创 sparkStreaming 實現kafka offset自定義保存
KafkaUtils.createDirectStream 區別Receiver接收數據，這種方式定期地從kafka的topic+partition中查詢最新的偏移量，再根據偏移量範圍在每個batch裏面處理數據，使用的是kafka的簡單
2020-06-16 09:49:20
原创 scrapy 爬取前程無憂讓找工作變得輕而易舉
# -*- coding: utf-8 -*- import scrapy from qcwy.items import QcwyItem from urllib import parse import re class A51jo
2020-06-16 09:49:19
原创 搜狗微信採集
10月29日搜狗微信改版了，無法通過搜索公衆號名字獲取對應文章了，不過通過搜索主題獲取對應文章還是可以的 目的：獲取搜狗微信中搜索主題返回的文章。 涉及反爬機制：cookie設置，js加密。 按照正常的採集流程，此時按F12打開瀏
2020-06-16 09:49:19
原创 Hibernate(JPA)註解大全
@Entity(name=”EntityName”) 必須,name爲可選,對應數據庫中一的個表 @Table(name=””,catalog=””,schema=””) 可選,通常和@Entity配合使用，只能標註在實體的cl
2020-06-16 09:49:19
原创 JPA的事務註解@Transactional總結
@Transactional事務使用總結： 異常在A方法內拋出，則A方法就得加註解 多個方法嵌套調用，如果都有 @Transactional 註解，則產生事務傳遞，需要 Propagation.REQUIRED 如果註解上只寫 @Tra
2020-06-16 09:49:19
原创 ScalikeJDBC
Just write SQL and get things done! ScalikeJDBC is a tidy SQL-based DB access library for Scala that naturally wraps JD
2020-06-16 09:49:19
原创 SpringBoot-Quartz
SpringBoot整合Quartz作爲調度中心使用完整實例 https://github.com/EalenXie/SpringBoot-Quartz#springboot%E6%95%B4%E5%90%88quartz%E4%BD%9
2020-06-16 09:49:19
原创 全面瞭解監控知識體系
前言介紹 監控是整個運維乃至整個產品生命週期中最重要的一環，事前及時預警發現故障，事後提供詳實的數據用於追查定位問題。 目前業界有很多不錯的開源產品可供選擇。選擇一款開源的監控系統，是一個省時省力，效率最高的方案。當然對監控不是很明白的朋
2020-06-16 09:49:19
原创 HBase 中加鹽（Salting）之後的表如何讀取：協處理器篇
在 《HBase Rowkey 設計指南》 文章中，我們介紹了避免數據熱點的三種比較常見方法： 加鹽 - Salting 哈希 - Hashing 反轉 - Reversing 其中在加鹽（Salting）的方法裏面是這麼描述的：給 Ro
2020-06-16 09:49:19