分布式图片存储-1

搞AI应用的基本都会涉及到图片存储,特别是AI在安防行业的应用,基本都需要满足100亿级别的图片存储。需求大概是:

  • 写非常多而且频繁
  • 读相对不是很多(访问长尾效应)
  • 修改基本没有
  • 删除非常少
  • 需要支持循环删除(按时间删除,保留最新的,删除最老的)

背景

由于目录文件多了非常慢,所以根据文件名 hash 头几位,建立 00-FF 好多目录,来打散这些文件的存储。

目录定位本身也是需要 IO 成本,早期的 ext2 是线性查找,ext3 做了一些优化线性查找 Btree 搜索,包括到后面 ext4 / xfs 等基于 extent 查找等,本质还是需要 IO 操作的,目录越多,cache 命中率就会下去,IO 成本就会变高。

小文件本身的 inode 也是占用上百字节,浪费空间。

打开文件时需要一次系统调用 open 操作,也是一次 IO,可以缓存所有的打开 fd,这样就少几次 IO。但是上亿文件情况下,不可能缓存所有的 fd,如果缓存用 LRU 策略,长尾问题还是没解决,因为存在一定的 cache miss。

所以普通文件读写方式并不适合大容量的图片存储。那么就需要专门的处理方式来进行大容量图片读写。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章