近期分布式存储技术实践的总结和思考

论坛 期权论坛 脚本     
已经匿名di用户   2022-7-2 22:15   2663   0
1.从硬件发展趋势看,server san概念的提出,pcie ssd加速将深刻的改变传统的OLTP和近期流行的nosql kv store技术架构。 传统的database的存储引擎根据针对传统机械磁盘的IO特性设计的,例如典型的数据结构式B+树索引;随着近代磁盘IO throughput的快速提高(得益于单盘密度和容量提升)而IOPS相对提升较慢的这一发展趋势,
key-value based nosql系统往往采用了LSM(log structured merge tree)存储架构,比如leveldb、hbase等,prefer "transfer" rather than "seek"。 基于内存计算的voltdb或者hana也是对传统oltp的一种冲击,hadoop ecosystem的impala或者stinger据说也要做实时查询了。至于内存计算vs traditional oltp的前景还不太清晰。

2.IaaS已经成熟度进一步提高。不得不说到python的迅速发展,如果说web技术催生了java的迅速发展,各种IaaS PaaS的发展,对于python的推动,是否是能达到同样的级别?

3.ceph是IaaS领域的一个明星。ceph本来设计的目的是实现一套基于对象存储理念的distributed file system。也许在分布式系统中实现严格的传统的posix语义困难很大,cephfs设计的及其复杂。目前还看不到cephfs商用前景,可能cephfs会是个流产项目。但是ceph的对象存储赶上了IaaS的迅速发展这个时机,再结合开源的kvm,迎来了一波迅速发展。

4.ceph是学院派,严谨、复杂;GlusterFS是实用主义者,KISS原则体现的淋漓尽致,尽量利用现有磁盘文件系统已经有的功能,规避一些分布式系统中的强一致性问题,例如分布式cache的一致性。 ceph是尽量在理论的高度来解决分布式系统中一致性(consistence)、扩展性(scability)、并行性( parallelism )的问题。GlusterFS则是尽量简单的构建分布式文件系统。 GlusterFS在分布式文件系统的成功应该来自于其简单的特点。其他的分布式文件系统例如moosefs lustre都没有Glusterfs简单。

5.没有好的设计就没有好的产品,有了好的设计,没有良好工程实践也出不了好产品。简单性是良好设计的重要原则,因为过于复杂的设计不利于工程实施。编码更是这样,可读性强势王道。

分享到 :
0 人收藏
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:81
帖子:4969
精华:0
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP