原创 kipmi0 cpu 100%
解決辦法： echo 100 > /sys/module/ipmi_si/parameters/kipmid_max_busy_us
2020-06-17 16:23:38
原创 最後一個 block 沒有足夠的副本數，文件關閉失敗
堆棧信息： java.io.IOException: Unable to close file because the last block does not have enough number of replicas.
2020-06-17 15:16:59
1
原创 用戶登陸Bash環境加載順序
用戶登錄後加載profile和bashrc的流程如下: /etc/profile-------->/etc/profile.d/*.sh $HOME/.bash_profile-------->$HOME/.bashrc---------
2020-06-17 15:16:59
原创 解決克隆虛擬機後網卡設備無法識別啓動問題的方法
一、故障問題 從vmware workstation中克隆(clone)了一個CentOS 6的虛擬機， 啓動之後發現網卡沒有啓動。 於是重啓一下network服務，發現提示錯誤信息 “Device eth0 does not seem
2020-06-17 14:20:52
原创 Scala:根據key分組取top n
package com.dk.spark.algo.topn import com.dk.spark.context.SparkContextManager import org.apache.spark.rdd.RDD /**
2020-06-17 14:20:52
原创 mysql timestamp使用示例
#獲取當前時間戳 select unix_timestamp() #獲取指定時間的時間戳 select unix_timestamp('1970-01-01 22:10:10') #獲取當前日期 select from_unixt
2020-06-17 14:20:52
原创 大數據端口一覽
組件 節點 默認端口 配置 用途說明 HDFS DataNode 50010 dfs.datanode.address datanode服務端口，用於數據傳輸 HDFS DataNode
2020-06-17 14:20:52
1
原创 ping - connect: No buffer space available
修復這個問題需要增加ARP表空間。 查看系統參數命令： sysctl -p 永久修復方法: 修改/etc/sysctl.conf增加如下行: net.ipv4.neigh.default.gc_thresh3 = 4096 net
2020-06-17 14:20:52
1
原创 shell value too great for base
示例： tar_file_month=`date +%m` rsync -auzq --exclude="2012_0[1-9]" --exclude="2012_1[0-2]" --exclude="2013_0[1-"$(($ta
2020-06-17 14:20:52
原创 Scala: 合併兩個Map
Solution1: foldLeft scala> val merged = (m1 /: m2) { case (map, (k,v)) => map + ( k -> (v + map.getOrElse(k,
2020-06-17 14:20:52
原创 wget下載ftp地址密碼裏有@符號如何解決
直接執行wget命令，如果ftp鏈接中的用戶名/密碼有@，那麼會和關鍵字@衝突，需要顯示指定用戶名和密碼，如下： #wget --ftp-user=USER --ftp-password=PASS ftp://1.1.1.1/a wge
2020-06-17 14:20:52
原创 Starting sshd:/var/empty/sshd must be owned by root and not group or world-writable
這個是權限的問題 可採取以下兩步解決 chown -R root.root /var/empty/sshd chmod 744 /var/empty/sshd service sshd restart 就可以解決上述的
2020-06-17 14:20:52
原创 關於GZIPInputStream的bug
http://cin-ie.iteye.com/blog/859822 關於GZIPInputStream的bug，在jdk的最新版本上竟然還沒解決這個問題。用到gzip的需要注意了： http://bugs.sun.com/bugd
2020-06-17 14:20:52
原创 Scala:通過key或者value排序Map(sortBy, sortWith)
sort the map by key, from low to high, using sortBy: scala> import scala.collection.immutable.ListMap import scala.co
2020-06-17 14:20:52
原创 JMX參數配置
JMX Prometheus Exporter配置示例： export DN_OPTS="-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jm
2020-06-17 14:20:52