原创 python爬取網頁內容需要安裝requests_html庫

1、安裝requests_html庫 pip install requests_html 2、爬取案例,新建tets.py from requests_html import HTMLSession session = HTMLSessi

原创 Docker安裝二(關閉防火牆)

Docker安裝 環境centos7.2.1511 安裝好的docker版本爲1.13.1  Docker version 1.13.1, build 8633870/1.13.1 版本介紹: Docker從17.03開始,轉向基於時間的

原创 Docker安裝一(關閉防火牆)

Docker支持的系統和版本 1、Docker 支持以下的 Ubuntu 版本: Ubuntu Precise 12.04 (LTS) Ubuntu Trusty 14.04 (LTS) Ubuntu Wily 15.10 其他更新的版本

原创 mysql 各個版本驅動jar包

http://central.maven.org/maven2/mysql/mysql-connector-java/

原创 GC常見的算法

1.GC (Garbage Collection) java garbage collection is an automatic process to manage the runtime memory used by programs

原创 Hbase技術網站

1、HBase原理 – 分佈式系統中snapshot是怎麼玩的? http://hbasefly.com/2017/09/17/hbase-snapshot/?bulwvo=dw1sw2&amxihm=0hc8j3&ywhoji=wyev

原创 ntp時鐘同步服務

NTP服務搭建 如果是單獨安裝這個服務,請直接開始即可。如果是爲了解決hadoop集羣的時針偏差問題,配置ntp服務時,務必先關閉chd的相關服務。 一、準備環境 1、操作系統 CentOS7操作系統,準備三臺,一臺作爲對外主節點,也就是

原创 Git Bash使用詳細教程

一:Git是什麼?   Git是目前世界上最先進的分佈式版本控制系統。   二:SVN與Git的最主要的區別?   SVN是集中式版本控制系統,版本庫是集中放在中央服務器的,而幹活的時候,用的都是自己的電腦,所以首先要從中央服務器哪裏得到

原创 python爬去網頁內容需要安裝requests_html庫

1、安裝requests_html庫 pip install requests_html 2、爬去案例,新建tets.py from requests_html import HTMLSession session = HTMLSessi

原创 python_turtle海龜畫圖安裝

1、python3.7裏面自帶turtlr,如果在python_shell裏面運行,則可以直接使用此模塊。 2、如果想在dos窗口裏面運行python文件實現畫圖,則需要安裝turtle第三方庫。 下載地址:https://pan.ba

原创 什麼是gc和gc的工作原理

一、GC是垃圾收集的意思,內存處理是編程人員容易出現問題的地方,忘記或者錯誤的內存回收會導致程序或系統的不穩定甚至崩潰,Java提供的GC功能可以自動監測對象是否超過作用域從而達到自動回收內存的目的,Java語言沒有提供釋放已分配內存的顯

原创 Hadoop解決小文件存儲思路和增加namenode內存

原 Hadoop解決小文件存儲思路 2018年09月27日 09:20:38 拾荒路上的開拓者 閱讀數:832 1.什麼是小文件 小文件一般是指明顯小於Hadoop的block size的文件。Hadoop的block size一般是64

原创 hadoop fs -count查看文件[夾]大小

以下文章轉自:https://blog.csdn.net/liuxiao723846/article/details/71078658 【如出現侵權問題,請第一時間聯繫我刪除該文章】   最近要對hdfs上空間使用和文件結點使用增加報警,

原创 Linux定時任務Crontab

linux 系統則是由 cron (crond) 這個系統服務來控制的。Linux 系統上面原本就有非常多的計劃性工作,因此這個系統服務是默認啓動的。另 外, 由於使用者自己也可以設置計劃任務,所以, Linux 系統也提供了使用者控制計

原创 centos7.2 Git編譯和安裝

1、下載git     wget https://www.kernel.org/pub/software/scm/git/git-2.9.2.tar.gz 2、解壓     tar -xvf git-2.9.2.tar.gz 3、安裝編譯