原创 dbms_xplan包的輸出
dbms_xplan包能夠顯示存儲在三個不同地方的執行計劃：plan_table,library cache,awr中。 下面分別簡單介紹display函數，display_cursor函數，display_awr函數的幾個參數輸入和基本
2020-06-15 16:27:53
1
原创 上傳文件到HDFS，對文件進行壓縮
hadoop計算需要在hdfs文件系統上進行，文件上傳到hdfs上通常有三種方法：a hadoop自帶的dfs服務，put；b hadoop的API，Writer對象可以實現這一功能；c 調用OTL可執行程序，數據從數據庫直接進入h
2020-06-15 16:27:53
原创 map slot 和 reduce slot
mapred.tasktracker.reduce.tasks.maximum 一個tasktracker同時運行reduce任務的最大個數，默認爲2。集羣Reducer任務槽數量 = 節點數 * 前者。 mapred.tasktrack
2020-06-15 16:27:42
原创 Oracle執行計劃順序是怎麼看的
閱讀oracle執行計劃的方法： 先從最開頭一直往右看，直到看到最右邊的並列的地方，對於不併列的，靠右的先執行：對於並列的，靠上的先執行。 即並列的縮進塊，從上往下執行，非並列的縮進塊，從下往上執行。 如下示例： Ex
2020-02-21 07:38:46
原创 mapredue輸入路徑
FileInputFormat.addInputPath(Job job, Path path)用於設定hadoop的輸入文件路徑，path可以指定具體的文件，也可以指定文件目錄，當指定文件目錄時，hadoop會遍歷該目錄下的所有文件，但
2020-02-21 07:38:46
原创 Oracle的10046事件
Oracle的10046事件，可以跟蹤應用程序所執行的SQL語句，並且得到其解析次數.執行次數,CPU使用時間等信息。這對我們分析、定位數據庫性能問題是非常有用的。 10046event是oracle用於系統性能分析時的一個最重要的事
2020-02-21 07:38:46
原创 普通物理表、臨時表和TABLE(函數)的執行效率對比
普通物理表、臨時表和TABLE的用途各不相同，普通表一般存放需要長期保存的數據，臨時表存放某個事務或會話過程中的臨時數據，array是oracle中的數組，也可以用於存放臨時數據，或在OODB中使用。但是，優化器在做查詢計劃時，尤其在C
2020-02-21 07:38:46
原创 Oracle中的Hash Join祥解
一、 hash join概念 hash join(HJ)是一種用於equi-join（而anti-join就是使用NOT IN時的join）的技術。在Oracle中，它是從7.3開始引入的， 以代替sort-merge和ne
2020-02-21 07:38:46
原创 hadoop集羣默認配置和常用配置
獲取默認配置 配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件，默認下來，這些配置文件都是空的，所以很難知道這些配置文件有哪些配置可以生效，上網找的配置
2020-02-21 07:38:46
原创 reducer個數選擇
設置Reducer的數量 在Hadoop中默認是運行一個Reducer，所有的Reduce任務都會放到單一的Reducer去執行，效率非常低下。爲了提高性能，可以適當增大Reducer的數量。 最優的Reducer數量取決於集羣中可
2020-02-21 07:38:45
原创 oracle 表連接方式詳解
在查看sql執行計劃時，我們會發現表的連接方式有多種，本文對錶的連接方式進行介紹以便更好看懂執行計劃和理解sql執行原理。 一、連接方式： 嵌套循環（Nested Loops （NL）） （散列
2020-02-21 07:38:45
原创 Hadoop的Secondary NameNode方案(不是雙機熱備)
該方案啓動一個Secondary NameNode節點，該節點定期從NameNode節點上下載元數據信息（元數據鏡像fsimage 和元數據庫操作日誌edits），然後將fsimage和edits進行合併，生成新的fsimage（該fs
2018-08-31 00:18:23
原创 map/reduce 過程的認識
map/reduce 過程的認識 最初我一直簡單的以爲map的工作就是將數據打散，而reduce就是將map打散後的數據合併。雖然之前跑過wordcount的例子，但之前只是對輸出reduce最終的結果感興趣，對控制檯打
2018-08-31 00:18:08
原创 springmvc之web.xml配置
搜降價。降價，是搜出來的。http://www.soujiangjia.com <?xml version="1.0" encoding="UTF-8"?> <web-app id="WebApp_ID" version="2.4"xm
2018-08-31 00:18:04
原创 hadoop的datanode多磁盤空間處理
hadoop-0.20.2 測試修改hdfs-site.xml:添加 <property> <name>dfs.datanode.du.reserved</name> <value>53687091200</value>
2018-08-31 00:18:04