原创 python學習筆記-（16）python中的函數對象
函數本質上也是一個對象，因此，既可以賦值給其他的對象名，也可作爲參數傳遞。 1． 函數作爲參數（函數名就是一個對象） def f1(a ,b): return a + b def f2(func, a , b): print
2020-06-13 17:26:47
1
原创 spark系列博客-（2）spark基礎（重要）
1.核心概念（非常重要） RDD：彈性的分佈式數據集，是spark的設計核心，是一個高層的抽象 Operation：作用於RDD的各種操作，spark中的操作分爲transformations和actions Job：作業，一個job含有
2020-06-13 17:26:37
原创 svn下copy項目後定位到新資源庫，產生不同版本號的方法
最近這兩天，公司要做國際化的開發，本打算要用struts2內置的i18n攔截器做國際化資源文件處理，但後期項目組開會討論決定copy開發完的中文版本的項目，在此基礎上做英文 的版本，因此要用到svn的相關操作。 起初，我和項目組的一個同事
2020-06-13 17:26:37
原创 centos下搭建單機和僞分佈式hadoop環境-（3）配置hadoop的僞分佈式模式
hadoop的僞分佈式模式的配置主要是配置幾個xml文件： 說明：在正式開始配置xml文件之前，需要創建一些目錄，方法如下： cd /usr/local/hadoop/hadoop-2.6.0 mkdir tmp mkdir hdfs
2020-06-13 17:26:37
原创 hadoop的hdfs相關的常用命令總結
以下的hadoop命令很常用： 注：其實hdfs就是一個hadoop環境內部的一個文件系統，就相當於本地操作系統上的文件系統一樣（這就類比於：本地os和jvm的關係） # 在hdfs上創建一個input目錄 hadoop fs -mkd
2020-06-13 17:26:37
原创 spark系列博客-（1）初識spark
說明：本文是我從spark官方文檔上翻譯總結+個人理解的，如有不恰當和理解偏差的地方，請大家指出，一起交流學習！ 翻譯來源 http://spark.apache.org/docs/latest/programming-guide.htm
2020-06-13 17:26:37
原创 python學習筆記-（18）python中的動態類型（相當重要）
1． 引入動態類型的概念 在python中，一切皆對象，常見的python對象有數字，表，詞典，字符串，這些對象都是用來存儲數據的。對象（object）是存儲在內存中的實體（entity），如：a = 1，通過賦值，a是指向1這一對象的引
2020-02-20 14:01:24
原创 log4j.properties配置詳解
一、Log4j配置 第一步：加入log4j-1.2.8.jar到lib下。 第二步：在CLASSPATH下建立log4j.properties。內容如下： log4j.rootCategory=INFO, stdout , R
2020-02-20 14:01:24
原创 javap命令將java的class文件反彙編
jdk自帶的很多命令都很有用，今天就來簡單介紹下jdk的javap命令，javap是jdk自帶的反彙編器，使用此命令，可以將java文件編譯後的class文件反彙編進而看到java編譯器給我 們生成的字節碼，以便我們能更好的分析代碼的執行
2020-02-20 14:01:24
原创 python學習筆記-（15）python中的循環對象
1. 循環對象的引入 在python中，循環對象就是包含一個_next_()方法的對象，這個方法的作用就是進行到下一個結果，結束結果之後會報出StopIteration錯誤。舉例如下： for i in range(5): pr
2020-02-20 14:01:24
原创 eclipse中窗體/活動標籤的title出現亂碼
由於項目開發需要，要學習spark技術，so...需要學習一門靜態語言---scala。 在準備scala的開發環境時，在官網下載scala ide for eclipse（綠色版：免安裝，直接可運行.exe使用）後，打開後，窗體/活動標
2020-02-20 14:01:24
原创 centos下搭建單機和僞分佈式hadoop環境-（2）下載安裝所需軟件+測試hadoop的單機模式
說明：linux終端下的操作均在root權限下 步驟一：下載安裝hadoop開發環境所需軟件 1.下載安裝vmware player 下載地址：https://my.vmware.com/web/vmware/free#desktop_e
2020-02-20 14:01:23
原创 Java最大的優勢真的在於跨平臺嗎？
以下討論只針對PC端和移動端。 Java最大的優勢真的在於跨平臺嗎？以前是，但現在已經不是了。 有跨平臺需求的僅僅是客戶端應用，而不是服務端。例如桌面應用，你的客戶可能是Windows用戶，也可能是Linux用戶，這時候如果不想多投入成
2020-02-20 14:01:23
原创 mysql性能調優
1.對查詢進行優化，應儘量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。 2.應儘量避免在where子句中對字段進行null判斷，否則會導致引擎放棄使用索引而進行全表掃描。 3.應儘量避免在where子
2020-02-20 14:01:23
原创 centos下搭建單機和僞分佈式hadoop環境-（1）寫在前面
由於公司需求，所以最近一個月都在自學hadoop和spark的相關知識，因此，學習的第一步就是搭建開發環境，這裏先詳細介紹下hadoop開發環境的搭建。 寫在前面： 由於本人是hadoop和spark的初學者，博文中寫的不恰當或不正確的
2020-02-20 14:01:23