ES调研笔记

写入过程:写入index buffer->每1秒钟refresh到os cache->每30分钟flush os cache中的数据到segment文件

每次写入操作:都会写入translog

每1秒钟将index buffer写入一个新的os cache中的segment一次,清空buffer这个操作叫refresh

可以手动refresh将内存中的数据刷到os cache

而flush是将os cache中的数据写入文件。

每次写操作都会记入translog文件,而translog文件是不断变大的,当大到一定阈值时或每30分钟,会commit一次,写一次commit point文件,并将os cache中缓存中的数据冲到磁盘文件中,并清空translog文件。

每次flush:

1、写commit point

2、将os cache数据强冲到磁盘

3、清空translog日志文件

 

Es重启会自动读取translog日志文件自动恢复到内存中

 

当segment file多到一定程度后

Es会触发merge操作,将多个segment file合并到一个文件中

 

删除:将某条数据的标示写入到.del文件中,标示已被删除

 

ES搜索过程

1、协调节点发送搜索指令给每个有shard的节点

2、每个节点返回查到的doc id和排序字段

3、协调节点再排序,再拿doc ids到各个shard中读取数据

 

一般用ES+Hbase方案或ES+MySQL方案

Es中写入需要用来查询的字段,Hbase中存入所有字段

 

es中的数据量建议小于等于filesystem cache的容量

filesystem cache调整为32G,则建议es中的数据只保存32g

 

方案:

1、减少数据量,只写入需要用来检索的字段

2、es中的数据量小于等于filesystem cache的容量

 

做好数据预热过程

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章