ps做网站logo设置多少,cms 网站后台,双语网站建设定制开发,大学生想做网站StarRocks 存算分离自版本 3.0.0 开放使用#xff0c;已经历过多个大版本迭代#xff0c;在众多客户生产环境中得到验证。但在用户使用过程中也反馈了一些问题#xff0c;大多源自对新能力不够熟悉导致无法达到最佳效果。因而#xff0c;本文提供 StarRocks 存算分离最佳实… StarRocks 存算分离自版本 3.0.0 开放使用已经历过多个大版本迭代在众多客户生产环境中得到验证。但在用户使用过程中也反馈了一些问题大多源自对新能力不够熟悉导致无法达到最佳效果。因而本文提供 StarRocks 存算分离最佳实践建议测试前仔细阅读并按照最佳实践的指导来实施以达到事半功倍的效果。 部署 用户在部署时需要在部署模式上二选一存算一体或者存算分离目前尚不支持在一个集群中同时支持两种运行模式。 StarRocks 目前支持各种类型对象存储如所有兼容 AWS S3 协议的对象存储如 S3、OSS、COS、OBS、GCP、Ceph-S3 等Azure Blob Storage、Google GCP 以及传统的 HDFS 等用户可以根据实际情况自由选择。 StarRocks 集群内添加了众多的监控指标且可以被 Prometheus 采集并通过 Grafana 展示借助这些指标可以实时观察集群运行情况。因此对于所有的用户我们建议您在实际使用 StarRocks 存算分离集群前先配置好监控详细可参考文档 StarRocks 存算分离监控部署[1]。 建表 在存算分离集群中用户建表时需要关注分桶数的设置要想获得最佳性能合理的分桶数选择必不可少。如果分桶数设置的过少可能会导致计算时无法充分利用硬件资源如果分桶数设置过多在存算分离集群中可能会产生大量的小文件导致 I/O 效率低下。在实践中我们建议按照数据量来决定分桶数一般建议每个分桶容纳的数据规模在 1 ~ 5GB 左右较为合适。 另外自 3.1.0 版本后StarRocks 支持为每个表指定不同的存储桶对象存储中的概念存储容器用户可以为不同的表设定不同的存储桶以实现物理资源的隔离具体可以通过创建 Storage Volume 来配置不同的存储桶[2]创建表时通过 Storage Volume PROPERTIES 指定存储桶[3]。 Tips 1根据表实际数据量合理选择分桶数量 2对于分桶数较多的表创建可能耗时较长此时可适当调整参数来观察是否有改善 3使用 Storage Volume 能让您的建表更为灵活强烈推荐 导入 当前 StarRocks 存算分离表支持存算一体模式中的所有数据导入方式离线数据推荐 Broker Load实时数据同步推荐 DataXFlink Connector 等用法与存算一体保持一致。 为了保证数据可靠性存算分离中数据写入使用同步模式即保证数据完整写入后端对象存储后方才给用户返回成功。考虑到对象存储的延迟高出本地磁盘 1 ~ 2 个数量级用户可能会观察到单一任务导入延迟相比存算一体表有所增加增加的比例取决于多种因素这属于正常现象。因此在存算分离表中我们建议如果条件允许尽量攒批大一点一次性导入更多的数据量以更好地利用对象存储高吞吐特性对于部分存储系统如 HDFS过多的小文件也会给元数据服务带来极大压力。 其次在实践中我们推荐增大 flush memtable 的线程数flush_thread_num_per_store多线程并发写数据可以充分利用对象存储的高吞吐特性。 具体的导入参数调优可参考 StarRocks 存算分离 3.1 性能调优手册[4]。 Tips 1攒批大一点可以获得更好的吞吐同时也能减少对象存储小文件数量 2提高 flush memtable 线程数可以充分利用对象存储的高吞吐特性取得更好的写入性能 查询 经过我们实际测试和众多用户实践在缓存命中Local Disk and Page Cache情况下StarRocks 存算分离表的查询性能与存算一体基本一致因此我们推荐条件允许情况下建议开启 Data Cache 以获得更好的查询性能。 对于直接查询位于远端对象存储的数据取决于实际的查询类型相比缓存命中情况下可能有3 ~ 5 倍左右的性能差距目前社区正在不断优化该场景下的查询性能期望能不断缩小这种差距。 即使开启了 Data Cache在某些场景下依然可能会出现 Cache Miss 情况例如升降级导致了 Tablet 迁移我们需要尽量保证不触发 Tablet 迁移。 如果出现查询性能超出预期范围用户可选择通过自主分析 Profile 来定位具体原因。 具体的查询参数调优可参考 StarRocks 存算分离 3.1 性能调优手册[4]。 Tips 1如果可以尽量为所有的表开启 Data Cache建表时默认行为 2在 BE/CN 常规重启或者版本升级时关闭 Tablet Balance在 Leader FE 上执行 admin set frontend config(disable_balancetrue)避免触发 Tablet 迁移避免造成 Cache Miss影响查询性能 3冷数据查询社区正在积极优化如果您遇到这种问题请及时反馈 4学会自主分析 Profile快速定位性能问题 Cache Cache 是提升查询效率的主要方式我们也推荐为所有的表开启 Data Cache指的是基于计算节点本地磁盘的作为数据缓存将热数据缓存在磁盘上提升 I/O 效率。 StarRocks 存算分离建表时默认会开启 Data Cache当然您也可以通过参数关闭。开启 Cache 后导入时数据会同时写入本地缓存与后端对象存储只有两者都写入成功后方才给用户返回成功。 StarRocks 支持自动的 LRU 淘汰当缓存磁盘接近满时会自动将最冷的数据淘汰掉原则上您无需担心磁盘写满造成写入失败的情况但某些极端场景下可能也会出现淘汰不及时造成了磁盘满情况建议您配置磁盘监控报警关注磁盘容量。 StarRocks 支持多块盘作为缓存目前的策略是会将不同的 Partition 数据打散放置到多个缓存盘上3.1.4版本后因而基本上多块缓存盘磁盘空间使用应该是比较均衡的建议您也适当关注。 StarRocks 当前版本采用 File 级别 Cache即一旦查询出现 Cache Miss计算节点会将单个数据文件全部拉回本地磁盘即使计算节点可能只访问文件中的某些数据页面可能会造成网络流量较大使用的计算和 I/O 资源较多以及缓存拉取较慢的问题建议多加关注。从 3.2 版本后StarRocks 将使用更细粒度的缓存机制来彻底解决该问题。 StarRocks 社区目前正在设计缓存预热方案敬请期待。具体的 Cache 调优可参考 StarRocks 存算分离 3.1 性能调优手册[4]。 Tips 1关注缓存磁盘的容量并配置监控报警应对异常 2如果计算节点使用多块缓存磁盘建议关注缓存磁盘使用是否均衡 3使用 File Cache 机制在 Cache Miss 时可能会有大量拉缓存的情况将在 3.2.0版本彻底解决 4缓存预热正在设计中敬请期待 Compaction Compaction 是 StarRocks 的后台任务存算一体与存算分离均存在目的是将小文件合并成为大文件以减少 I/O 次数加速查询性能。 作为后台任务用户一般情况下无需感知 Compaction 任务的执行情况但当出现查询较慢时我们建议您优先关注下慢查询涉及的表的 Compaction Score 情况排除是 Compaction 不及时造成的慢查询。 StarRocks 存算分离集群中系统会根据 Partition 下的文件数量来决定是否发起 Compaction 任务系统会自动根据当前计算节点规模来决定同时执行的 Compaction 任务数基本能做到自适应。但 Compaction 本质上也需要消耗系统资源CPU、Memory、I/O 等当系统资源紧张时需要适当降低 Compaction 的频率来减少对正常业务请求的影响。 具体的 Compaction 运维可参考 StarRocks 存算分离 Compaction 运维手册[5]。 Tips 1关注 Partition 的 Compaction Score 非常重要尤其是在出现慢查询时 2Compaction 会消耗系统资源如果资源紧张建议降低 Compaction 频率 GC 同 Compaction 一样GC 也是 StarRocks 的后台任务存算一体与存算分离均存在目的是删除那些不再需要的文件版本降低存储容量与成本对象存储会根据存储容量收费。 作为后台任务用户一般情况下无需感知 GC 任务的执行情况但我们建议您定期关注后端对象存储容量以确定 GC 任务正确运行。 如果您观察到对象存储容量远超表实际数据容量此时可以观察监控指标来观察是否有 GC 任务积压等现象如果有可以参照 StarRocks 存算分离垃圾回收运维手册[6]调整部分参数值来加速 GC 任务回收。 Tips 1关注表的容量和实际对象存储容量如果后者超出太多建议仔细分析 如果存在大查询建议适当延长文件回收时间避免查询失败 Primary Key 表 StarRocks 存算分离自版本 3.1.0 后开始支持 Primary Key 表模型其使用方式与存算一体模式下完全一致用户可以放心使用。 自 3.1.4版本后Primary key 表开始支持索引持久化能力但仅限持久化至本地缓存磁盘因此如果想使用持久化索引需要配置本地磁盘。 如果未开启索引持久化可能会存在使用内存较多的问题请及时关注内存使用情况如有必要使用 3.1.4以及之后的版本来开启索引持久化。 Tips 1未开启索引持久化时可能会消耗较多内存请及时监控内存使用如果内存不足可以开启索引持久化 数据迁移 当前 StarRocks 存算一体与存算分离无法在同集群共存用户需要将存算一体集群数据迁移至存算分离集群存在如下几种方案 1将存算一体集群数据通过 export 导出至 S3、HDFS 等系统然后再通过 Broker Load 等方式导入至存算分离集群 2在存算分离集群配置 StarRocks 外表并指向存算一体集群然后通过 insert into select 方式从外表中向存算分离集群内表导入数据但要求存算一体集群版本在 3.0.0 以上 3利用社区提供的迁移工具完成一键式迁移简单且高效预计12月中旬发布 弹性 StarRocks 存算分离的一个核心优势在于可以快速弹性我们实测也显示弹性效果非常优秀且避免了存算一体在弹性时存在的数据迁移导致弹性时间过长的问题弹性测试可参考 StarRocks 存算分离弹性能力测试[7]。 StarRocks 存算分离支持快速弹性节点的上下线会触发 Tablet 迁移这会导致部分查询出现 Cache Miss不过只要经过第一次查询冷数据后第二次即可命中 Cache性能也会相应恢复。 Tips 1增加节点可相应提升性能 2弹性时由于 Tablet 迁移会存在首次查询 Cache Miss但第二次就会恢复 相关链接 [1]https://starrocks.feishu.cn/docx/ZwkcdCl00oHMMFxNwK7cg20Bnje [2]https://docs.starrocks.io/zh-cn/latest/sql-reference/sql-statements/Administration/CREATE_STORAGE_VOLUME#%E7%9B%B8%E5%85%B3-sql [3]https://docs.starrocks.io/zh-cn/latest/deployment/deploy_shared_data#%E5%88%9B%E5%BB%BA%E6%95%B0%E6%8D%AE%E5%BA%93%E5%92%8C%E4%BA%91%E5%8E%9F%E7%94%9F%E8%A1%A8 [4]https://starrocks.feishu.cn/docx/GEZpdCPchoVL67xTMOPcKjCrneg [5]https://starrocks.feishu.cn/docx/GvgmdyK03olcFoxCs7rcHjKVnod [6]https://starrocks.feishu.cn/docx/XZ8edURRvoDbOnxigCocsLzNnyh [7]https://starrocks.feishu.cn/docx/Dd3AdQ9ujoYKHsxXxeNcB8oBn9d 本文由 mdnice 多平台发布
