制作网站链接,企业运营管理师,怎么创立自己的网站,深圳 网站设计师 招聘项目背景 CAT#xff08;Central Application Tracking#xff09;#xff0c;是美团点评基于 Java 开发的一套开源的分布式实时监控系统。美团点评基础架构部希望在基础存储、高性能通信、大规模在线访问、服务治理、实时监控、容器化及集群智能调度等领域提供业界领先的、… 项目背景 CATCentral Application Tracking是美团点评基于 Java 开发的一套开源的分布式实时监控系统。美团点评基础架构部希望在基础存储、高性能通信、大规模在线访问、服务治理、实时监控、容器化及集群智能调度等领域提供业界领先的、统一的解决方案CAT 目前在美团点评的产品定位是应用层的统一监控组件在中间件RPC、数据库、缓存、MQ 等框架中得到广泛应用为各业务线提供系统的性能指标、健康状况、实时告警等服务。 本文会对 CAT 的客户端、性能等做详细深入的介绍前不久我们也发过一篇 CAT 相关的文章里面详细介绍了 CAT 客户端和服务端的设计思路欲知更多细节欢迎阅读《深度剖析开源分布式监控CAT》 产品价值 减少故障发现时间。降低故障定位成本。辅助应用程序优化。技术优势 实时处理信息的价值会随时间锐减尤其是在事故处理过程中。全量数据全量采集指标数据便于深度分析故障案例。高可用故障的还原与问题定位需要高可用监控来支撑。故障容忍故障不影响业务正常运转、对业务透明。高吞吐海量监控数据的收集需要高吞吐能力做保证。可扩展支持分布式、跨 IDC 部署横向扩展的监控系统。使用现状 目前CAT 已经覆盖了美团点评的外卖、酒旅、出行、金融等核心业务线几乎已经接入美团点评的所有核心应用并在生产环境中大规模地得到使用。 2016 年初至今CAT 接入的应用增加了400%机器数增加了 900%每天处理的消息总量高达 3200 亿存储消息量近 400TB高峰期集群 QPS 达 650万/秒。 面对流量的成倍增长CAT 在通信、计算、存储方面都遇到了前所未有的挑战。整个系统架构也经历了一系列的升级和改造包括消息采样聚合、消息存储、业务多维度指标监控、统一告警等等项目最终稳定落地。为公司未来几年内业务流量的稳定增长打下了坚定的基石。 经过 7 年的持续建设CAT 也在不断发展我们也希望更好的回馈社区将 CAT 提供的服务惠及更多的外部公司。我们今年将对开源版本进行较大的迭代与更新未来也会持续把公司内部一些比较好的实践推广出去欢迎大家跟我们一起共建这个开源社区。 新版特性 CAT 3.0.0 Release Notes 多语言客户端 随着业务的不断发展很多产品和应用需要使用不同的语言CAT 多语言客户端需求日益增多除 Java 客户端外目前提供了 C/C、Python、Node.js、Golang 客户端基本覆盖了主流的开发语言。对于多语言客户端核心设计目标是利用 C 客户端提供核心 API 接口作为底层基石封装其他语言 SDK。 目前支持的主流语言使用指南 JavaC/CPythonNode.jsGolang性能提升 消息采样聚合消息采样聚合在客户端应对大流量时起到了至关重要的作用当采样命中或者内存队列已满时都会经过采样聚合上报。采样聚合是对消息树拆分归类利用本地内存做分类统计将聚合之后的数据进行上报减少客户端的消息量以及降低网络开销。通信协议优化CAT 客户端与服务端通信协议由自定义文本协议升级为自定义二进制协议在大规模数据实时处理场景下性能提升显著。目前服务端同时支持两种版本的通信协议向下兼容旧版客户端。 测试环境CentOS 6.54C8G 虚拟机测试结果新版相比旧版序列化耗时降低约 3 倍消息文件存储新版消息文件存储进行了重新设计解决旧版本的文件存储索引、数据文件节点过多以及随机 IO 恶化的问题。 新版消息文件存储为了同时兼顾读写性能引入了二级索引存储方案对同一个应用的 IP 节点进行合并并且保证一定的顺序存储。下图是索引结构的最小单元每个索引文件由若干个最小单元组成。每个单元分为 4×1024 个桶第一个桶作为我们的一级索引 Header存储 IP、消息序列号与分桶的映射信息。剩余 4×1024 - 1 个桶作为二级索引存储消息的地址。 新版消息文件存储文件节点数与应用数量成正比有效减少随机 IO消息实时存储的性能提升显著。以下为美团点评内部 CAT 线上环境单机消息存储的数据对比 未来规划 技术栈升级拥抱主流技术栈降低学习和开发成本使用开源社区主流技术工具Spring、Mybatis等建设下一代开源产品。产品体验对产品、交互进行全新设计提升用户体验。开源社区建设产品官网建设、组织技术交流。更多语言 SDK关于开源 https://github.com/dianping/cat 自2014年开源以来Github 收获 7700 Star2800 Forks被 100 公司企业使用其中不乏携程、陆金所、猎聘网、平安等业内知 名公司。在每年全球 QCon 大会、全球架构与运维技术峰会等都有持续的技术输出受到行业内认可越来越多的企业伙伴加入了 CAT 的开 源建设工作为 CAT 的成⻓贡献了巨大的力量。 美团点评基础架构部负责人黄斌强表示在过去四年中美团点评在架构中间件领域有比较多的积累沉淀很多系统服务都经历过大规模线上业务实际运营的检验。我们在使用业界较多开源产品的同时也希望能把积累的技术开源出去一方面是回馈社区贡献给整个行业生态另一方面让更多感兴趣的开发工程师也能参与进来共同加速系统软件的升级与创新。所以像 CAT 这样的优秀项目我们将陆续开源输出并长期持续运营保证开源软件本身的成熟度、支撑度与社区的活跃度也欢迎大家给我们提出更多的宝贵意见和建议。 结语 这是一场没有终点的长跑我们整个 CAT 项目组将长期有耐心地不断前行。愿同行的朋友积极参与我们关注我们共同打造一款企业级高可用、高可靠的分布式监控中间件产品共同描绘 CAT 的新未来 这次开源仅仅是一个新的起点如果你对 CAT 新版本有一些看法以及建议欢迎联系我们catdianping.com or Github issues 招聘信息 美团点评基础架构团队诚招 Java 高级、资深技术专家Base北京、上海。我们是集团致力于研发公司级、业界领先基础架构组件的核心团队涵盖分布式监控、服务治理、高性能通信、消息中间件、基础存储、容器化、集群调度等技术领域。欢迎有兴趣的同学投送简历到 yong.youdianping.com。
