【總結】Hadoop配置文件core-site.xml

<property>
<name>fs.defaultFS</name>
    <value>hdfs://ns1</value>
  <description>缺省文件服務的協議和NS邏輯名稱,和hdfs-site裏的對應此配置替代了1.0裏的
fs.default.name,ns1 與 
hdfs-site.xml中的dfs.nameservices配置項對應</description>
</property>

<property>
<name>hadoop.tmp.dir</name>
    <value>/hadoop/1/tmp/hadoop-${user.name}${hue.suffix}</value>
  <description>A base for other temporary 
directories.存放一些解壓jar包後的class文件,類似 
hadoop-unjar3569575687995621667,hdfs-site.xml配置文件中
dfs.namenode.name.dir;dfs.datanode.data.dir;dfs.namenode.checkpoint.dir等
配置項會用到該配置項內容</description>
</property>

<property>
        <name>io.compression.codecs</name>
        <value>
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.GzipCodec,
            com.hadoop.compression.lzo.LzopCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec,
            org.apache.hadoop.io.compress.Lz4Codec
        </value>
        <description>提供壓縮/解壓的java工具</description>
</property>

<property>
        <name>io.file.buffer.size</name>
        <value>131072</value>  128M
        <description>SequenceFiles在讀寫中可以使用的緩存大小,在x86系統上一般配置4096倍數;決定了在讀寫過程當中,有多大的緩存</description>
</property>

<property>
        <name>ha.zookeeper.quorum</name>
        <value>nn1.cc.bi:2181,nn2.cc.bi:2181,s1.cc.bi:2181</value>
  
      <description>A list of ZooKeeper server addresses, separated
 by commas, that are to be used by the ZKFailoverController in automatic
 failover</description>
</property>

<property>
        <name>ipc.client.connection.maxidletime</name>
        <value>60000</value>
        <description>超出客戶端與服務器連接的最大空閒期maxidletime,斷開服務器與客戶端的連接</description>
</property>

<property>
        <name>io.seqfile.compression.type</name>
        <value>BLOCK</value>
  
      <description>Hadoop SequenceFile 
是一個由二進制形式key/value的字節流組成的存儲文件,SequenceFile可壓縮可切分,非常適合hadoop文件存儲特 
性,SequenceFile的寫入由SequenceFile.Writer來實現, 
根據壓縮類型SequenceFile.Writer又派生出兩個子類SequenceFile.BlockCompressWriter和 
SequenceFile.RecordCompressWriter, 
壓縮方式由SequenceFile類的內部枚舉類CompressionType來表示,定義了三種方式[NONE|RECORD|BLOCK],
CompressionType.NONE 時 記錄信息不壓縮
CompressionType.RECORD 時 記錄信息壓縮(單條記錄壓縮)
CompressionType.BLOCK  一個block內會有多條記錄組成,壓縮是作用在block之上的,比RECODE方式能獲得更好的壓縮比
</description>
</property>

<property>
    <name>topology.script.file.name</name>
    <value>/usr/local/hadoop/etc/hadoop/topology.sh</value>
    <description>機架識別腳本</description>
</property>




發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章