原创 HIVE 優化的幾個切入點

HIVE 優化的幾個切入點一、合理設計schema1.使用分區,但避免使用大量的分區2.合理設計臨時表3.合理設計buckets4.針對不同的表,合理使用壓縮特性二、查詢優化1.使用適當的MAP與REDUCE數2.使用普通的JOIN時,設計

原创 MySQL配置內存使用之innodb數據字典

  innodb有對自己每個表的緩存,被稱之爲表定義緩存或者數據字典,在當前版的MySQL中是不可配置的。當innodb打開一個表的時候,會將與之對應的對象添加到數據字典中。每一個表佔用4KB或更多的內存(儘管在MySQL5.1中會佔用更少

原创 MySQL配置內存使用之線程緩存和表緩存

線程緩存保存了和當前連接無關的線程,這些線程可以供新連接使用。當要求一個新的連接時,如果線程緩存中的連接能夠被使用時,新的連接就不會被創建,而使用線程緩存中的連接。當連接關閉時,又會將該線程放回到線程緩存中(前提是線程緩存中有可用的空間)。

原创 MySQL innodb I/O調優之日誌文件與日誌緩存

設置日誌文件大小 根據經驗,設置日誌總大小可以保持一個小時左右的服務器活動。   mysql> show global status like 'Innodb_os_log_written';select sleep(60);show gl

原创 我的友情鏈接

51CTO博客開發王偉老男孩linux運維實踐檢驗真理上帝,咱們不見不散!貓熊的幸福生活技術成就夢想沒有傘的孩子必須努力奔跑

原创 ORACLE10G RAC升級 There are no installed products

運行Disk1/runInstaller時無法發現已安裝的軟件,點擊installed products顯示:There are no installed products.但在另一節點能夠顯示。查看$ORACLE_BASE/oraInve

原创 Mongodb 添加刪除分片與非分片表維護

去年的筆記,接着發一、如何移除分片1、確認balancer已經開啓mongos> sh.getBalancerState() true2、移除分片注:在admin db下執行命令。mongos> use admin switched to 

原创 Zabbix MongoDB監控

去年監控mongodb設置的模板,包括mongodb連接數,內存,複製延遲,是否Master的監控,下面是一些監控圖形示例我們還有一些觸發器,比如mongodb實例是否可用,mongodb副本集的角色是否切換。附件中是mongodb的模板文

原创 Perl常用語法記錄

Perl常用語法記錄 ##包的切換和調用其它包的方式 #package A; #my $a=10; #package B; #print $A::a; #print $a;     ##local局部標識符的使用 #$aa=20; #{

原创 ORACLE THRESHOLD (度量閥值)監控表空間

ORACLE THRESHOLD (度量閥值)監控表空間1、使用 DBMS_SERVER_ALERT.SET_THRESHOLD過程設置針對本地管理的表空間的相關閥值。 2、DBA_OUTSTANDING_ALERTS告警信息可以查看這個視

原创 我的友情鏈接

51CTO博客開發王偉老男孩linux運維實踐檢驗真理上帝,咱們不見不散!貓熊的幸福生活技術成就夢想沒有傘的孩子必須努力奔跑

原创 Mongodb監控命令

Mongodb監控命令一、監控工具1、mongostat工具默認爲顯示每秒的統計信息# mongostat -uroot -ppassword --authenticationDatabase admin -h192.168.x.xx  -

原创 Mongodb 分片 手動維護chunk

去年的筆記For instance, if a chunk represents a single shard key value, then MongoDB cannot split the chunk even when the chu

原创 ORACLE DATAGUARD 監控腳本

使用perl來監控ORACLE DATAGUARD腳本#!/usr/bin/perl use strict; use warnings; use DBI;    # Load the DBI module my $ZabbixServe

原创 Django-rest-framework多條件查詢/分頁/多表Json

Django-rest-framework多條件查詢/分頁/多表Jsondjango-rest-framework多條件查詢需要覆寫ListAPIView.get_queryset方法,代碼示例:def get_queryset(self)