现在的云项目中底层的存储:包括块、文件、对象存储,大多数都会采用分布式架构(分布式块、文件、对象),分布式架构是趋势,但是否都要这样规划和设计,大多数块采用三副本、对象和文件采用EC纠删码机制
脱离业务场景谈数据存储选型都有点海市蜃楼,每个业务场景对云存储的需求都不通,数据的类型、IO特征、数据容量都会左右云数据存储的选择。
在常规的上云业务,数据存储主要为对象和块,对象主要是OSS,块主要为云盘等。在数据存储的选型上,思路与方法和传统存储均类似,可以参考数据中心业务存储选型的经验。
云存储底层的容错机制和手段,普通用户大多无感或者不可见,初始化配置的时候云存储也有默认推荐。分布式存储主要通过副本机制实现容错及块复制这些高级功能,对象主要通过复制、跨区同步等手段提高数据可用性,块容错机制各家方式不一样,对用户也无感,无须过多干预,若是数据需求高,可通过快照/一致性快照提供可靠性。
收起首先,存储架构的选型和技术规划需要根据实际情况进行定制化设计,以下是一些通用的建议:
1.数据类型和容量:根据数据类型和容量要求,选择适合的存储设备,例如硬盘、固态硬盘、磁带等。
2.性能和速度:根据数据读写性能和速度要求,选择适合的存储设备,例如高速硬盘、固态硬盘等。
3.数据安全:根据数据安全要求,选择适合的存储设备,例如RAID、备份系统、加密存储等。
4.数据容错和可用性:根据数据容错和可用性要求,选择适合的存储设备,例如冗余存储、分布式存储等。
5.数据管理和备份:根据数据管理和备份要求,选择适合的存储设备和备份系统,例如云存储、磁带库等。
6.成本和可扩展性:根据成本和可扩展性要求,选择适合的存储设备和存储架构,例如分层存储、云存储等。
总之,存储架构的选型和技术规划需要根据具体需求进行定制化设计,选择适合的存储设备和存储架构,以确保数据的安全、可靠、高效和经济。同时,需要定期评估和优化存储架构,以适应不断变化的数据需求和技术发展趋势。
然后,分布式架构确实是现代云平台存储的趋势,因为它可以提供更高的可靠性、可扩展性和性能。然而,是否需要采用分布式架构取决于具体的业务需求和数据规模。 对于小型的云平台项目,单节点存储系统可能已经足够,而对于大型的云平台项目,分布式架构可能是必要的。同时,分布式架构的设计和实现也需要考虑复杂性、管理和维护成本等因素。 因此,需要根据实际情况来决定是否采用分布式架构,而不是盲目地追随趋势。同时,在决定采用分布式架构之后,需要仔细规划和设计,以确保系统的稳定性和可靠性。
最后,分布式存储采用三副本和EC纠删码机制都是为了提高数据的可靠性和可用性。它们各自有一些优缺点,下面进行简单的比较:
三副本机制:
优点:
EC纠删码机制:
优点:
综上所述,三副本机制适合需要高可靠性和可用性的场景,而EC纠删码机制则适合需要节省存储空间和降低数据传输成本的场景。在实际应用中,可以根据具体的业务需求和数据规模来选择适合的存储方案。
收起对于每一个银行信息系统的建设和维护人员,永远绕不开的是如何保障业务的持续稳定无间断运行,最关注的是系统的稳定性,可靠性和高可用性。选择存储最重要可靠稳定,容灾架构案例多,可靠性好其它其次。从以下方面进行选择:
高可靠性:灾备系统是为了进一步增强关键业务数据的抵御灾难能力,所以在灾备系统设计阶段需要充分考虑其自身的稳定性和可靠性,从而保障关键数据能够持续、稳定的传送到异地灾备中心。当出现任何问题时都能够通过灾备数据得以恢复。
高性能:充分考虑容灾系统的处理能力,使其整个系统在国内三到五年内保持领先的水平,并具有长足的发展能力,以适应未来灾备技术的发展。
标准化:所有灾备解决方案都应符合有关国内及国际标准以保证不同品牌灾备解决方案之间的互操作性和系统的开放性。
可扩展性:当前灾备系统的设计不但应满足当前需要,还需充分考虑业务的发展,同时便于向更新技术的升级与衔接,保护当前投资。
可维护性:整个灾备系统的设计,充分考虑易于管理,易于维护,操作简单,易学,易用,便于进行配置,发现故障。
安全性:由于灾备系统承载的是关键业务系统的数据备份,所以设计需要考虑传输、存放等灾备整个过程中的安全性。
高性价比:灾备系统建设首先要从系统的实用性角度出发,满足不同的业务系统的实际需要和前瞻性的同时,选择最高性价比的设计方案。
目前来看,分布式存储是主流趋势,扩展性较好,比较适合云环境,但是集中式存储发展了很多年,稳定可靠性较高,在项目建设过程中,可以考虑两者结合同步建设,待将来运行后再逐步统一架构。
收起目前来看。分布式架构在应对海量数据,特别是非结构化数据方面确实有很大的优势。也成为目前的主流,三副本或纠删码来保障整个架构的可靠性。不过所有的规划和设计脱离了应用场景的实际情况都不现实。不通的业务类型,技术能力,资金投入都会影响最终的规划和设计的实际落地。分布式架构也好。集中式存储也好。只是一种技术手段。我觉得现在项目设计和规划的原则应该是结合实际情况综合考虑,采用最适合的方案,而不是最流行的方案。
收起在互联网服务行业中,分布式架构的确是一种趋势,因为它可以提高系统的可靠性和可扩展性。但是,是否需要采用分布式架构,还需要根据具体业务需求和技术实现情况来进行评估和决策。
对于存储选型,块、文件、对象存储各有其适用场景。块存储适用于需要高性能、低延迟的场景,如数据库、虚拟化等;文件存储适用于需要共享文件、支持随机访问的场景,如文件共享、多媒体存储等;对象存储适用于需要存储海量数据、支持分布式访问的场景,如云存储、大数据分析等。
对于存储架构,三副本和EC纠删码机制都是常见的数据保护方式。三副本可以提高数据的可靠性,但会占用更多的存储空间和网络带宽;EC纠删码机制可以在保证数据可靠性的同时,减少存储空间和网络带宽的占用,但会增加计算复杂度和延迟。因此,需要根据具体业务需求和技术实现情况来选择合适的存储架构和数据保护方式。
总之,在进行存储选型和架构设计时,需要综合考虑业务需求、性能要求、可靠性要求、可扩展性要求等因素,选择合适的存储方案和数据保护方式。