原创 arcmap影像變色問題記錄
之前用GDAL做了遙感影像的切片，但是在ArcMap中顯示的時候會變色，剛開始以爲是保存的影像的位數問題，即影像是UInt16，然後java中沒有UInt類型。最後發現是因爲arcmap應該會對輸入的影像進行拉伸處理，也就是說在拉伸時，由
2019-06-30 00:44:06
原创 python讀取中文路徑下的中文txt文件
今天考試的時候讀取中文路徑下的txt文件出錯，解決辦法如下： ufile = unicode("C:\Users\Administrator\Desktop\考試\題四\宗地座標.txt","utf8") fik = "D:\zongd
2019-05-01 11:04:51
1
原创 記錄下虛擬機橋接模式改Nat模式
首先打開 設置子網ip，這個子網ip配置好後虛擬機的ip必須和它在一個網段才能使用。 注意：每個虛擬機都必須從交接改爲NAT模式 虛擬機修改eth0的IP地址後，通過service network restart發現還是不能ping主機
2019-05-01 00:51:38
1
原创 移動虛擬機到其他電腦
橋接模式下需要重新更改虛擬機的ip和網關信息，在/etc/sysconfig/ifcfg-eth0中修改，如果有多臺虛擬機構成集羣的話還要修改/etc/hosts 虛擬機ping不通主機，但是主機可以ping通虛擬機 https://bl
2019-04-29 13:42:57
原创 hdfs格式化
當集羣突然關閉，造成datanode無法啓動，一個比較便捷的方法就是直接格式化hdffs,前提是裏面的數據都可以刪除 每個節點進入保存數據的文件夾，可以再配置文件中查看，namenode該目錄下有name文件夾，datanode下有dat
2019-04-27 08:20:25
1
原创 錯誤記錄
把數據寫入hbase由於使用到了工具GDAL，GDAL底層是使用C/C++寫的，因此當我使用Java方法來把byte[]數組轉換時和真實的結果差了很多，這也是由於大小端字節序的問題。Java默認是大端，而C/C++是小端，因此直接用gda
2019-04-27 08:20:25
原创 HBase Spark錯誤記錄
遇到的錯誤記錄 1. Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflow 這個錯誤一
2019-04-25 08:02:30
51
原创 錯誤記錄
ERROR [main] regionserver.HRegionServerCommandLine: Region server exiting java.lang.RuntimeException: HRegionServer Abo
2019-04-24 04:12:23
原创 羣起zookeeper集羣、hadoop集羣、spark集羣、kylin集羣
搭建好kylin的環境後，需要解決的問題就是集羣的羣起，如果依次到各個節點輸入命令，估計得累死。。所以使用shell腳本的方式來啓動和關閉集羣。 啓動zookeeper集羣和hadoop集羣 #!/bin/bash echo "====
2019-03-28 00:31:12
原创 利用百度API提供的位置服務爬取武漢市所有中學附近的網吧
# coding=utf-8 import urllib import json import sys import random reload(sys) sys.setdefaultencoding("utf-8") """ 02
2019-03-27 00:13:02
原创 Zookeeper3.4.10 +Hadoop2.7.7+HBase1.2.11+Hive+Spark2.2.3+Kylin2.6.1+hive1.2.2
記錄下Kylin的安裝過程和遇到的問題： 根據Kylin官方文檔，安裝Kylin需要的環境條件如下： HBase的搭建同時要求了對JDK、Zookeeper、Hadoop的安裝，詳見上一篇博客，zookeeper的安裝如下博客： http
2019-03-27 00:13:02
原创 從零開始搭建HBase分佈式集羣（虛擬機安裝zookeerper3.4.10+Hadoop2.6.5+HBase1.2.11）
寫在開頭：本人從\不懂完全分佈式HBase安裝到成功搭建集羣，基本是一步步跟着這位大佬https://www.jianshu.com/u/f3baddfa95fc 其他的一些參考地址： https://www.jianshu.com/p/
2019-03-03 21:38:28
原创 進程、線程的概念、區別和聯繫；併發、並行概念、區別和聯繫
以下概念摘自《瘋狂java講義》和《深入理解計算機系統》： 程序和進程(Process)： 幾乎所有的操作系統都支持同時運行多個任務，一個任務通常就是指一個程序。程序和進程的主要區別：程序是一個靜態的指令集合，進程則是正在系
2019-02-20 20:39:15
原创 文獻學習 張良培教授 遙感數據融合的進展與前瞻
本文作者給遙感數據融合的定義是： 針對同一場景並具有互補信息的多幅遙感數據或其它觀測數據，通過對它們的綜合處理、分析與決策，獲取更高質量數據、更優化特徵、更可靠知識的技術和框架系統。 數據融合的三個層級： 數據級：數據級融合主要是對傳感器
2019-02-20 20:39:15