昆山市住房和城乡建设局网站,百度竞价托管,ICP备案域名网站,网站项目建设与管理论文一、什么是分布式架构分布式系统#xff08;distributed system#xff09; 是建立在网络之上的软件系统。内聚性#xff1a;是指每一个数据库分布节点高度自治#xff0c;有本地的数据库管理系统。透明性#xff1a;是指每一个数据库分布节点对用户的应用来说都是透明的distributed system 是建立在网络之上的软件系统。内聚性是指每一个数据库分布节点高度自治有本地的数据库管理系统。透明性是指每一个数据库分布节点对用户的应用来说都是透明的看不出是本地还是远程。在分布式数据系统中用户感觉不数据是分布的即用户不须知道关系是否分割有无副本数据存在于那个站点以及事物在哪个站点上执行。简单来说在一个分布式系统中一组独立的计算机展现给用户的是一个统一的整体就好像是一个系统似的。 分布式系统作为一个整体对用户提供服务而整个系统的内部的协作对用户来说是透明的用户就像是指使用一个mysql 一样。如分布式mysql中间件 mycat ,来处理大并发大数据量的构架。二、分布式架构的应用1、分布式文件系统例如出名的有 Hadoop 的 HDFS, 还有 google的 GFS , 淘宝的 TFS 等2、分布式缓存系统例如memcache , hbase, mongdb 等3、分布式数据库例如mysql, mariadb, postgreSql 等4、分布式webService5、分布式计算 以分布式mysql数据库中间件mycat 为例MySQL 在现在电商以及互联网公司的应用非常多一个是因为他的免费开源另外一个原因是因为分布式系统的水平可扩展性随着移动互联网用户的暴增互联网公司像淘宝天猫唯品会等电商都采用分布式系统应对用户的高并发量以及大数据量的存储。而在Mycat的商业案例中有对中国移动的账单结算项目中应用实时处理高峰期每天2亿的数据量在对物联网的项目中实现处理高达26亿的数据量并提供实时查询的接口。通过对MyCat的学习加深分布式系统架构的理解以及分布式相关的技术分布式一致性ZooKeeper服务, 高可用HAProxy/keepalived等相关应用。集群与分布式负载均衡分布式相关的高可用、容灾等名词解释Mycat中间件学习三、分布式架构的演进1、初始阶段架构 特征应用程序数据库文件等所有资源都放在一台服务器上。 2、应用服务和数据服务以及文件服务分离 说明好景不长发现随着系统访问量的再度增加webserver机器的压力在高峰期会上升到比较高这个时候开始考虑增加一台webserver。特征应用程序、数据库、文件分别部署在独立的资源上。 3、使用缓存改善性能说明系统访问特点遵循二八定律即80%的业务访问集中在20%的数据上。 缓存分为本地缓存和远程分布式缓存本地缓存访问速度更快但缓存数据量有限同时存在与应用程序争用内存的情况。特征数据库中访问较集中的一小部分数据存储在缓存服务器中减少数据库的访问次数降低数据库的访问压力。4、使用“应用服务器”集群 说明在做完分库分表这些工作后数据库上的压力已经降到比较低了又开始过着每天看着访问量暴增的幸福生活了。 突然有一天发现系统的访问又开始有变慢的趋势了这个时候首先查看数据库压力一切正常之后查看webserver发现apache阻塞了很多的请求而应用服务器对每个请求也是比较快的看来是请求数太高导致需要排队等待响应速度变慢。特征多台服务器通过负载均衡同时向外部提供服务解决单台服务器处理能力和存储空间上限的问题。描述使用集群是系统解决高并发、海量数据问题的常用手段。通过向集群中追加资源提升系统的并发处理能力使得服务器的负载压力不再成为整个系统的瓶颈。5、数据库读写分离 说明享受了一段时间的系统访问量高速增长的幸福后发现系统又开始变慢了这次又是什么状况呢经过查找发现数据库写入、更新的这些操作的部分数据库连接的资源竞争非常激烈导致了系统变慢。特征多台服务器通过负载均衡同时向外部提供服务解决单台服务器处理能力和存储空间上限的问题。描述使用集群是系统解决高并发、海量数据问题的常用手段。通过向集群中追加资源使得服务器的负载压力不在成为整个系统的瓶颈。 6、反向代理和CDN加速 特征采用CDN和反向代理加快系统的访问速度。描述为了应付复杂的网络环境和不同地区用户的访问通过CDN和反向代理加快用户访问的速度同时减轻后端服务器的负载压力。CDN与反向代理的基本原理都是缓存。7、“分布式文件”系统 和 “分布式数据库”说明随着系统的不断运行数据量开始大幅度增长这个时候发现分库后查询仍然会有些慢于是按照分库的思想开始做分表的工作特征数据库采用分布式数据库文件系统采用分布式文件系统。描述任何强大的单一服务器都满足不了大型系统持续增长的业务需求数据库读写分离随着业务的发展最终也将无法满足需求需要使用分布式数据库及分布式文件系统来支撑。分布式数据库是系统数据库拆分的最后方法只有在单表数据规模非常庞大的时候才使用更常用的数据库拆分手段是业务分库将不同的业务数据库部署在不同的物理服务器上。8、使用NoSQL和搜索引擎特征系统引入NoSQL数据库及搜索引擎。描述随着业务越来越复杂对数据存储和检索的需求也越来越复杂系统需要采用一些非关系型数据库如NoSQL和分数据库查询技术如搜索引擎。 应用服务器通过统一数据访问模块访问各种数据减轻应用程序管理诸多数据源的麻烦。9、业务拆分 特征系统上按照业务进行拆分改造应用服务器按照业务区分进行分别部署。描述为了应对日益复杂的业务场景通常使用分而治之的手段将整个系统业务分成不同的产品线应用之间通过超链接建立关系也可以通过消息队列进行数据分发当然更多的还是通过访问同一个数据存储系统来构成一个关联的完整系统。纵向拆分将一个大应用拆分为多个小应用如果新业务较为独立那么就直接将其设计部署为一个独立的Web应用系统 纵向拆分相对较为简单通过梳理业务将较少相关的业务剥离即可。横向拆分将复用的业务拆分出来独立部署为分布式服务新增业务只需要调用这些分布式服务 横向拆分需要识别可复用的业务设计服务接口规范服务依赖关系。10、分布式服务特征公共的应用模块被提取出来部署在分布式服务器上供应用服务器调用。描述随着业务越拆越小应用系统整体复杂程度呈指数级上升由于所有应用要和所有数据库系统连接最终导致数据库连接资源不足拒绝服务。四、分布式服务应用会面临哪些问题1、当服务越来越多时服务URL配置管理变得非常困难F5硬件负载均衡器的单点压力也越来越大。2、当进一步发展服务间依赖关系变得错踪复杂甚至分不清哪个应用要在哪个应用之前启动架构师都不能完整的描述应用的架构关系。3、接着服务的调用量越来越大服务的容量问题就暴露出来这个服务需要多少机器支撑什么时候该加机器4、服务多了沟通成本也开始上升调某个服务失败该找谁服务的参数都有什么约定 5、一个服务有多个业务消费者如何确保服务质量6、随着服务的不停升级总有些意想不到的事发生比如cache写错了导致内存溢出故障不可避免每次核心服务一挂影响一大片人心慌慌如何控制故障的影响面服务是否可以功能降级或者资源劣化 来源本文转载自「Java后端技术」
