写入过程:写入index buffer->每1秒钟refresh到os cache->每30分钟flush os cache中的数据到segment文件
每次写入操作:都会写入translog
每1秒钟将index buffer写入一个新的os cache中的segment一次,清空buffer这个操作叫refresh
可以手动refresh将内存中的数据刷到os cache
而flush是将os cache中的数据写入文件。
每次写操作都会记入translog文件,而translog文件是不断变大的,当大到一定阈值时或每30分钟,会commit一次,写一次commit point文件,并将os cache中缓存中的数据冲到磁盘文件中,并清空translog文件。
每次flush:
1、写commit point
2、将os cache数据强冲到磁盘
3、清空translog日志文件
Es重启会自动读取translog日志文件自动恢复到内存中
当segment file多到一定程度后
Es会触发merge操作,将多个segment file合并到一个文件中
删除:将某条数据的标示写入到.del文件中,标示已被删除
ES搜索过程
1、协调节点发送搜索指令给每个有shard的节点
2、每个节点返回查到的doc id和排序字段
3、协调节点再排序,再拿doc ids到各个shard中读取数据
一般用ES+Hbase方案或ES+MySQL方案
Es中写入需要用来查询的字段,Hbase中存入所有字段
es中的数据量建议小于等于filesystem cache的容量
filesystem cache调整为32G,则建议es中的数据只保存32g
方案:
1、减少数据量,只写入需要用来检索的字段
2、es中的数据量小于等于filesystem cache的容量
做好数据预热过程