原创 Hadoop分佈式配置手冊

分佈式配置手冊 linux環境配置、linux環境下hadoop環境配置、linux靜態ip設置 系統環境 VMWare 10.0.1 Mac CentOS7 64bit JDK7 hadoop 2.6.5 一、Mac 下面

原创 MAC版VScodeTex配置

該文最於的時候是,2018年12月左右,vscode 的latex workshop版本爲5.0。 當vs code的latex workshop更新到5.0之後,原來的toolchain屬性沒了,變成了tools 和recipe

原创 一種解決IDEA發生war exploded is not valid 的辦法

一種解決IDEA發生war exploded is not valid 的辦法問題解決辦法 問題 最近使用IDEA的時候,偶爾會出現一次’[project name] war exploded’ is not valid的錯誤。下

原创 SQLite使用事務大幅提高批量數據寫入數據庫的速度

工具 讀取Excel:NPOI 結果 先直接放出對比吧,數據量,3500多條。 不使用事務 使用事務 18655ms 55ms 問題 在目前的項目中,經常需要把外部的數據導入導出到數據庫中。但是外部數據導入到數據

原创 最新版VScode的Tex配置

// "latex-workshop.view.pdf.viewer": "browser", "latex-workshop.latex.tools": [ { "name": "xelatex

原创 CSDN-markdown

歡迎使用Markdown編輯器寫博客 本Markdown編輯器使用StackEdit修改而來,用它寫博客,將會帶來全新的體驗哦: Markdown和擴展Markdown簡潔的語法 代碼塊高亮 圖片鏈接和圖片上傳 LaTex數學公式 UM

原创 切片地圖服務器

地圖服務 收集了一些切片地圖的URL,以後慢慢完善。 天地圖提供四種類型的地圖 1.天地圖地形 http://t{0-7}.tianditu.com/DataServer?T=ter_w&x={x}&y={y}&l={z} 2.天地圖路網

原创 在OpenLayers中使用和百度地圖一樣的圖標

商業地圖中的圖標 在高德地圖、百度地圖看到的圖標都是十分好看的圖標,然而如果通過圖片生成的圖標和我們預想中的效果始終有點差距,本文的目的是通過SVG的方式生成一種和谷歌地圖圖標十分相似的效果。 當然,除了可以直接設置png的文件u

原创 Hadoop僞分佈式配置手冊

僞分佈式配置手冊 linux環境配置、linux環境下hadoop環境配置、linux靜態ip設置 系統環境 VMWare 10.0.1 Mac CentOS7 64bit JDK7 hadoop 2.6.5 一、Mac 下面修改

原创 關於分佈式的幾個問題

數據分佈 如何將數據分佈到多臺服務器才能夠保證數據分佈均勻?數據分佈到多臺服務器後如何實現跨服務器讀寫操作? 一致性 如何將數據的多個副本複製到多臺服務器,即使在異常情況下,也能夠保證不同副本之間的數據一致性? 容錯 如何檢測到服

原创 第一個Maven項目

這篇文檔很基礎,目的只是爲了理解一下Maven的目錄結構。不借助任何IDE構建一個Maven項目。 一、首先建立Hello項目同時建立Maven約定的目錄結構 標準的Maven目錄,依照這樣的目錄結構,在任何路徑下建立文件目錄 Hello

原创 scrapy爬取豆瓣電影

scrapy爬取豆瓣電影,存儲在MongoDB 本節分享用的Scrapy爬取豆瓣電影Top250的實戰。 本節要實現的內容有: - 爬取豆瓣電影Top250頁面的,全部字段 - 將抓取到的結果存儲到MongoDB。 實驗環境: -

原创 常見爬蟲方式與反

反爬蟲及其應對措施 常見的反爬措通常來說有三種: - 通過分析用戶請求的Headers信息進行反爬蟲。 - 通過判斷同一個IP在短時間內是否頻繁訪問對應網站等進行分析; - 通過動態頁面增加爬取的難度,達到反爬蟲的目的。 我們來具體