雄安专业网站建设电话,360网站外链建设,软件开发行业现状,上海待遇好的公司排名业务挑战与痛点
随着互联网技术的发展、云计算技术的成熟、人工智能技术的兴起和数字化经济的崛起#xff0c;数据已成为企业的核心资产。在金融行业中#xff0c;数字化已成为了支撑各类业务场景的核心力量#xff0c;包括个人理财、企业融资、股票交易、保险理赔、贷款服…
业务挑战与痛点
随着互联网技术的发展、云计算技术的成熟、人工智能技术的兴起和数字化经济的崛起数据已成为企业的核心资产。在金融行业中数字化已成为了支撑各类业务场景的核心力量包括个人理财、企业融资、股票交易、保险理赔、贷款服务、支付结算、投资咨询、资产管理等等。然而在基于大数据分析与处理技术的业务建设中当下的金融企业也面临许多挑战与不足
实时与查询性能不足高并发支持挑战大 金融行业中常见的风控、决策分析、高管看板、实时营销等业务场景均要求数据的高时效性以及秒级甚至毫秒级的查询性能同时金融行业常见的支付、转账、账务业务场景均对吞吐量有很高的要求需要稳定的高并发数据服务支持。然而基于离线数仓的架构实时性能不足俨然已经无法满足数据快速获取和业务价值变现的诉求。“数据孤岛”制约大数据发挥价值 金融行业的数据来源通常包含三大类业务信息数据、行为数据和第三方数据。这些数据通常来自不同的数据源。烟囱式系统建设导致各部门业务系统相互独立形成大大小小的数据孤岛造成数据分析和决策困难等。数据质量问题频发 金融大数据来自不同的生产部门数据通过不同的链路、不同的写入方式到达目标端供查询服务链路的稳定性难以保障导致数据的准确性、完整性、一致性等质量问题频发各团队花费了大量精力也难以很好地保障整体数据服务质量。架构复杂带来成本增加 金融企业的技术栈差异非常大复杂的技术栈使得开发与维护的成本成倍增长平台之间的数据迁移成本、多副本存储成本、数据转换的风险成本随着技术栈的增多而逐年递增。 金融行业的数字化转型已经被推上日程选择正确的技术与工具以完成大数据业务的构建是抓住机遇的关键一环。在众多应对数字化转型的策略中实时数仓可以帮助企业实现数据的实时采集、存储和查询通过 T0 的大数据分析流程帮助企业快速通过数据捕捉到业务变化。而 DataOps 则可以帮助企业实现数据的快速交付、高质量和高效率从而更好地支持业务决策和创新。基于实时数据仓库DataOps 展开数字化转型已经成为趋势。
基于 SelectDB 白鲸开源 WhaleStudio 的解决方案
方案整体介绍
SelectDB 是飞轮科技基于 Apache Doris 打造的新一代实时数据仓库面向不同行业提供通用的端到端实时大数据分析解决方案帮助企业轻松构建起 T0 的实时大数据分析流程。目前飞轮科技已推出 SelectDB Cloud 和 SelectDB Enterprise 两款企业级产品能够差异化地满足云上开箱即用、私有化部署和自主可控的不同需求。
SelectDB 的解决方案能够金融企业提供
实时高效的数据导入和数据更新 提供从数据流、各类数据库、数据湖外表等异构数据源的毫秒级实时数据导入和集成能力实时插入/更新/删除的数据更新能力高效实现秒级别的小批量实时写入。百亿数据秒级查询响应 提供世界级领先的极致查询性能。单边聚合及多表关联场景下均可达 ClickHouse、Presto、Greenplum、Hive 等同类产品的三倍到数十倍生产环境下轻松实现百亿数据秒级查询响应。统一的分析体验 提供多种查询负载上的极速统一体验单一引擎可同时支撑报表分析即席分析湖仓融合日志检索分析增量跑批等多种场景。简单高效的数据分析体验 支持标准 SQL 并与 MySQL 协议高度兼容内置可视化的运维及管理工具提供丰富的大数据生态链接工具。金融级稳定的安全保障 基于开源 Apache Doris 研发代码由团队自主研发并掌握底层核心架构100% 自主可控与信创生态高度兼容可稳定地运行在各类主流国产化软硬件生态中企业级安全特性加持如多租户资源隔离、跨集群复制、网络安全、安全审计等保证金融级别高可用。
WhaleStudio 是白鲸开源科技根据全球领先的 DataOps 理念打造的新一代数据集成调度工具它基于白鲸开源主导的Apache DolphinScheduler和 Apache SeaTunnel 的开源版打造而成。目前WhaleStudio 支持公有云、私有云和混合云已与 AWS、阿里云、华为云等国内外头部云厂商达成合作全面支持云原生帮助企业更好地适应大数据和云原生大时代下的数据处理与治理同时支持 Oracle、DB2InformixMySQLMongoDB、达梦等数据库CDC实时读取也支持开源生态的数据湖 HudiIceberg 数据打通和调度等让企业用户实现数据湖、数据仓库、云的一体化数据同步和调度。 针对金融行业大数据实时分析的场景飞轮科技联合白鲸开源共同推出金融行业的大数据解决方案致力于解决企业在大数据业务中面临的性能不足、数据实效性差、开发/运维效率低下、成本居高不下等问题。该方案主要包含数据应用层、数据仓库层、数据同步集成层和底层数据源四部分
数据应用层
在 SelectDB 白鲸开源 WhaleStudio 的实时数据分析能力支持下能够帮助银行、信贷、基金、保险等金融企业构建起整体高性能、统一、简单、易用的大数据平台从而为业务系统提供通用的支持其中包括
风险管理系统为风控各类业务构建起实时快速的预警和反馈系统实现分钟级/秒级的数据产生、入库、查询流程例如审批系统、贷后管理系统、用户中心、额度中心、反欺诈系统、决策引擎、风控数据平台等核心业务系统高效地完成对客户的行为、身份核查、客户征信、三方数据、交易数据等多源数据实时、极速的聚合分析例如信贷管理系统、中间业务系统、支付与清算系统、互联网银行系统、资金管理系统、核算中心、账务中心、财务系统等管理决策类通过 T0 数据实时处理快速实现商业决策例如运营管理系统、客服系统、消息中心、支付中心、商户管理、客户关系管理、报表商业智能类、财务管理
数据仓库层
数据仓库层所提供的数据分析能力是实现实时业务分析的关键也是实现高性能的查询和高并发的写入的核心层。同时也需要满足金融企业对数据的一致性以及和周边生态的支持的需求。SelectDB 与白鲸开源 WhaleStudio 的整体能力能够帮助很好地支持数据服务层的构建
实时、便捷的数据导入 SelectDB X 白鲸开源的方案能够为企业提供实时、便捷和高吞吐的数据导入。白鲸开源 WhaleStudio 方案支持常用的数据库和文件系统、消息队列和各类数据湖系数据源实时导入包括各类数据库、Kafka、Elasticsearch 、Redis、Neo4j 等SelectDB 底层实现了统一的流式导入框架而在这个框架之上SelectDB 提供了非常丰富的导入方式以适应不同的数据源和数据导入场景对于实时、小批量的数据导入SelectDB 提供 StreamLoad、Flink Doris Connector、RoutineLoad、Insert into value 等方式能够实现秒级的高效导入SelectDB 还提供十余种常见的数据湖格式和外部数据源的访问支持通过进行高效的联邦分析实现大数据量、高吞吐场景的实时导入。除此之外SelectDB 还提供了丰富的集成工具来连接各种来自周边大数据工具的数据源内置 Kafka、Flink、Spark、DataX 等常见的 Connector基于此企业开发者能够更加便捷的将数据移动到上并利用 SelectDB 从数据资产中获取更高的价值。 高效的数据更新 高并发的更新在高并发的更新过程中数据服务层需要在上亿数据中快速定位需要更新的数据并完成更新。面对实时更新的场景SelectDB 在 Unique Key 模型之上引入了 Merge-On-WriteMoR 和 Merge-On-WriteMoE两种数据更新方式能够高效、统一地支持不同数据量的更新场景。其中MoR 能够支持低频次、大批量的数据更新场景而 MoW 则能够实现秒级别的小批量实时写入查询性能较 MoR 提升 5-10 倍。该类方式在写入的时候将旧的数据标记删除做轻量级 merge能够始终保证有效的主键只会出现在一个文件中即在写入的时候保证了主键的唯一性不需要在读取的时候通过归并排序来对主键进行去重从而大大减少了高频写入场景下查询执行时的额外消耗帮助企业在多种场景的查询中实现明显的性能提升。此外SelectDB 针对其它各类常见的更新方式均提供了完备的支持包括upsert、条件更新、条件删除、部分列更新、分区覆盖等。 极致的查询性能 性能是数据分析最关键的指标基于丰富的索引结构、高效的列式存储与行列混存引擎、向量化执行引擎、RBO 和 CBO 结合的智能优化策略、智能物化视图、Pipeline 执行引擎、智能缓存等一系列的技术优化SelectDB 能够为企业的提供支持高并发、高吞吐的极速查询能力帮助企业快速应对不同场景中的高效查询需求 高并发点查 查询返回的数据量较少通常只需返回一行或者少量行数据。但对于查询耗时极为敏感、期望在毫秒内返回查询结果并且面临着数万 QPS 超高并发的挑战。在金融中常见的场景包括面向客户的各类订单交易明细查询如实时转账、交易和面向机器的程序化查询如各类客户画像及行为分析、实时风控等。 报表查询 大部分相关场景下处理数据量适中对查询性能要求通常在秒级甚至毫秒级同时需要较强的数据的更新能力、对 SQL 查询语法友好、较强的多表 join 的能力以及能够很好的支持复杂的关联查询。 即席查询 应用于如画像、风控等场景。数据量较为庞大响应时间要求较高对于绝大多数相关场景要求查询返回时间在秒级别。 传统批量数据处理ETL/ELT 需要在固定的时间间隔内如每天夜间处理大量积累的数据处理的数据延迟往往在几小时到几天之间要求较高的数据一致性。
数据同步集成层白鲸数据集成系统
数据采集和加工是数据处理的关键组成部分在数据 3.0 时代传统数据平台提供的 ETL 解决方案已无法满足在激烈市场竞争环境下生存的金融企业的需求因为为了应对不断变化的业务需求企业通常会选用至少两种数据库一种负责业务的联机交易数据库一种负责数据分析的数据仓库。两种数据库之间的数据同步是通过复杂、高度定制的 ETL 管道来解决的数据管道需要不断维护复杂度极高这会导致使用传统技术来做数据集成的金融企业面临高成本维护成本的挑战。这些挑战在云时代会进一步被放大因为在云上构建 SaaS 服务的创业公司产品越来越多同时硬件性能的进步也使得原本数据集成的设计出现了非常大的局限性。
针对数据采集和加工中的挑战白鲸开源 WhaleStudio 下的组件白鲸数据集成系统能够提供新一代高效、稳定的数据集成同步解决方案。
白鲸数据集成系统 是下一代高性能、分布式、海量数据集成框架围绕实现批量、实时数据同步以及实时发布的目标希望使数据集成变得简单、安全和可扩展向用户提供简单的、易用的产品交互界面和流畅的使用体验不需要专业培训就可以快速上手。
白鲸数据集成系统的核心能力强大包括
支持 150 种连接器类型解决了各种数据源、版本之间的适配问题面向数据科学家、数据开发工程师以及任何需要数据集成服务的用户支持编程模式和引导模式两种配置同步作业的方式适应不同用户群体的使用习惯支持全场景数据集成需求包含离线全量同步、离线增量同步、实时增量同步、变化数据捕捉即 CDC、数据库同步备份等。
在保证数据质量的前提下自研的白鲸数据集成系统的 Zeta 数据集成引擎能够以远超其他产品的速度完成数据同步并且更省资源。 覆盖全数据同步场景除了代码模式外也提供可视化拖拽界面给数据科学家、数据分析师、产品经理等业务用户支持全流程可视化的任务定义、调用、监控和管理。 白鲸开源 WhaleStudio 整体架构
在独特产品架构支撑下白鲸数据集成系统为用户提供完善的数据集成和同步功能助力企业数字化转型
数据管道数据管道列表页面对数据管道进行运行、编辑、发版、删除操作连接器支持数百种数据接口多种数据集成方式监控完善的监控机制可跟踪输入输出的统计数据当前运行日志以及运行历史及状态。
白鲸数据集成系统能够帮助企业快速完成复杂数据源之间 CDC 与批量整合问题解决传统同步集成引擎痛点问题以无中心化、精确处理一次、断点续传等多种方式确保数据强一致性 其支持可视化建立集成任务、支持可视化运维、无主键增量集成支持、支持整库同步与表结构自动变更、支持多自动建表、支持可视化转换处理等产品特点也使得白鲸数据集成系统与传统数据平台解决方案相比拥有显著优势。
数据源
SelectDB 白鲸开源 WhaleStudio 的方案够接入各类数据的业务系统如账户系统、CRM、交易系统、核心系统、信审系统等帮助金融企业完成对于客户、存款、贷款、支付、资金、总账、渠道等多种类型的核心数据的实时存储、分析和处理。 SelectDB 白鲸开源 WhaleStudio 能够便捷地支持多种异构数据源、数据库的接入其中包括
支持常用的数据库和文件系统包括关系型数据库 Oracle、MySQL、SQL Server等非关系型数据库MongoDB、Redis、Cassandra 等分布式数据库 Hadoop、Couchbase、Elasticsearch 等内存数据库 Redis图形数据库Neo4j以及其他处理实时及离线数据的各类数据库。支持消息队列包括 Redis、Neo4j、Kafka、RocketMQ、Pulsar等以及各种自定义数据源SaaSHttpSocket各类数据湖系例如 Iceberg、Hudi、DeltaLakeHDFS、S3 等存储系统。
方案优势
基于 SelectDB 白鲸开源 WhaleStudio 的联合解决方案能够为银行、等金融企业带来以下收益
实时分析能力大幅度提升 帮助大数据量复杂场景的数据分析时效性由每周 (更新一次) 到每天 (更新一次) 大大提升了分析的时效性 帮助金融企业通过 T0 分析轻松构建起风险分析、欺诈检测、实时消费者分析、交易分析等业务场景。毫秒级性能实现倍数级性能提升 WhaleStudio 的任务调度性能是市面产品平均性能的 2 倍数据集成效率比市面同等产品平均性能快 420%SelectDB 为企业提供宽表及多表场景下均优于同类产品三到数十倍的极致性能。SelectDB WhaleStudio 的方案能够在数据服务场景下为企业实现毫秒级查询响应带来数十倍的性能提升。降低开发及运维成本提高效率 金融机构可以通过 SelectDB白鲸开源 WhaleStudio 大数据解决方案实现从业务开发、运维、管理等全流程的效率优化。SelectDB 与白鲸开源 WhaleStudio 均提供了一系列可视化的操作界面和丰富的功能使得运维人员能够轻松地进行数据管理和维护。基于 SelectDB 极简的架构和融合统一的能力以及白鲸开源 WhaleStudio 的高效调度、数据集成和同步能力综合效率大幅提升原来需要 10 人完成的任务2-3 人即可完成。
客户案例
某大型国有券商 该券商将白鲸调度系统进行全栈信创化部署运行已经完成了建立以“统一数据编排调度系统”为核心的 DataOps 平台构建统一、标准化的数据协作平台降低数据开发门槛提升开发运维效率的目标实现了统一的数据开发平台、统一的编排调度、统一的数据资产运营有效降低用户数据加工处理的成本提升数据服务能力真正实现精益、敏捷的数据运营。同时在上层基于 SelectDB 构建起实时数据仓库 利用 SelectDB 端到端的实时能力和极致查询性能更好地完成了实时流处理、离线批处理等任务实现了业务的实时分析流程。现阶段该券商已经迁移完核心调度任务每天约 8 千个工作流作业在不断接入新系统后目标完成日工作流 10 万任务量 50 万同时对接公司统一权限管理、审计、监控、告警等系统极大提升了公司运营效率。 某知名消费金融企业 随着某消费金融客户数量和放贷金额持续上升如何依托大数据、数据分析等技术来提供更好决策支持、提高工作效率和用户体验成为了当前亟需解决的问题。基于此公司决定搭建数据中台利用白鲸调度系统实现了不同数据源之间的快速整合大大提高了研发效率同时将原有的离线数仓替换为 SelectDB 实时数仓最终统一了数据出口提升了数据质量并实现了查询速度 400 倍的提升。 某一线银行信贷企业 某银行信贷业务利用 SelectDB X 白鲸数据集成系统作为架构核心完成了业务数据的统一存储与分析该架构支持了该企业在营收信贷业务过程中广告投放的业务并帮助该企业的用户行为日志降低了 70% 的存储成本整体业务效率提升 50 %。白鲸调度系统提供了高效、简单、易用的数据集成框架及引擎能够用户的全场景数据集成需求SelectDB 提供了丰富且开箱即用的用户行为分析函数避免业务人员重复进行复杂 SQL 函数编写、验证、推导再应用极大提高了数据开发效率。在 SelectDB X 白鲸数据集成的支持下该银行信贷企业智能营销的投产比得到了显著提升完成了精准投放增加获客的重要目标。 本文由 白鲸开源科技 提供发布支持
