投中网
搜索
登录 | 注册
投中网  >  其他新闻  >  正文

飞轮科技发布云版本SelectDB Cloud,见证新一代云数仓技术革新

投中网   |   投中网
2022-12-14 18:18:32

这是一款面向企业用户推出的运行在多云之上、全托管且 SaaS 化的云数据仓库,如今已上线阿里云、腾讯云、华为云和 AWS。

12月8日,北京飞轮数据科技有限公司(简称:SelectDB)首次召开以“为数而生 因云而新”为主题的线上发布会,正式发布新一代云原生实时数仓 SelectDB Cloud。这是一款面向企业用户推出的运行在多云之上、全托管且 SaaS 化的云数据仓库,如今已上线阿里云、腾讯云、华为云和 AWS。作为 Apache Doris 的商业化公司,这也是 SelectDB 成立一年来,基于 Apache Doris 内核进行创新研发后,推出的首款商业化云端产品。

走向“以云数仓为中心”的全新现代数据栈时代

从80年代首次提出大数据的概念到今天,全球经济已经完全迈入数据和智能驱动的数字经济时代。数据分析技术也已经成为数字经济时代的核心生产力工具,它需要持续地进行现代化革新,来应对组织在数字化转型过程中面临的海量数据、实时分析、敏捷开发等一系列挑战。作为现代数据栈的核心,云数仓已经呈现出三大变革趋势。即实时化、统一化与云原生化。技术和产品创新的本质是契合广大用户的诉求和新技术的演进趋势,SelectDB Cloud 就是在这样的时代背景下应运而生,引领最新的数仓技术和产品创新。

国内首款多云中立的云原生实时数仓 SelectDB Cloud

SelectDB 作为 Apache Doris 的商业化公司,是实时数仓技术的引领者。而此次发布的 SelectDB Cloud 也是当前国内首个真正实现多云中立的云原生实时数仓。作为一个采用完全存算分离架构、随需而用的企业级云数仓,SelectDB Cloud 的五项优势在于极致性价比、融合统一、简单易用、企业特性和开源开放。下面我们具体来了解一下 SelectDB Cloud 的产品特性和优势。

首先是超高的性能表现。作为一款数据分析基础软件,性能对于用户来说是关键。与同类产品相比,SelectDB Cloud 性能遥遥领先,在宽表聚合场景和多表关联场景上均表现出巨大的性能优势。其中,在宽表聚合场景下,使用 SSB-flat 测试,SelectDB Cloud 是 ClickHouse 的3.4倍,是 Presto 的92倍,是业界标杆产品 Snowflake 的6倍。在多表关联场景下,使用 TPC-H sf100 测试,SelectDB Cloud 的性能是友商的1.5倍(Redshift)~ 49倍 (ClickHouse),是业界标杆产品Snowflake 的2.5倍。而此次发布会前不久,SelectDB 利用强大的技术优势在全球分析型数据库排行榜 ClickBench 上取得了领先全球知名品牌的优异成绩,多项指标世界第一。例如在常用机型 c6a.4xlarge, 500gb gp2 的测试下,SelectDB 在未进行任何调优的情况下,查询性能在所有同类产品中位列第一,Hot Run 和 Cold Run 性能得分 分别领先第二位 35% 和 25%。在汇集了多个不同机型的总榜中,SelectDB 在所有同类型产品中依旧取得了 Cold Run 查询性能第一,Hot Run 查询性能第二的优异成绩。在全部 43 个 SQL 中,有近半数的查询语句 SelectDB 性能表现最优,成为新的性能标杆。

而SelectDB Cloud 如此优异的性能背后是哪些黑科技呢%3F经过深究,我们发现:首先SelectDB 采用MPP查询框架,这可以充分利用多节点并行和节点内多核并行,支持多张大表的分布式 shuffle join,以及自适应动态执行技术;其次就是向量化的执行引擎可以大幅减少虚函数调用,提高 cache 命中率,高效利用 SIMD 指令,从而使算子的性能可以提升数十倍;另外就是SelectDB 采用了列式存储,使得编码、压缩、处理都非常高效,丰富索引结构加速数据过滤,物化视图加速查询效率,同时多种存储模型可以实现针对不同场景的优化;最后就是SelectDB 采用 RBO 和 CBO 结合的智能优化策略实现最佳性能和效率,短路径优化能支持数万QPS的并发点查。依靠这些核心技术,SelectDB Cloud 已经是一款可以在全球市场与一流品牌相媲美的中国新一代云数仓产品。

在用户的感知里,高性能往往伴随着高成本。但是 SelectDB Cloud 区别于同类产品的一大优势恰恰就是极致的性价比。

SelectDB Cloud 依托全新的云原生架构设计将成本降到了极低,它全新的存算分离架构,实现了本地磁盘缓存和对象存储的分层分级存储引擎,也实现了计算节点的分离和弹性,使得计算资源根据业务的波峰波谷特点随需弹性扩缩容。这些技术使得 SelectDB Cloud 的综合成本低至自有部署成本的1/2~1/5,而性能依然比同类产品快至少1.5倍以上。当前已经有不少客户开始享受到产品的收益,例如 SelectDB 帮助海程邦达完成了数仓构建,在供应链物流业务的多样分析场景中,查询延时从56.6秒降低到0.649s,查询时间足足降低了99%。

除了高性价比,融合统一也是 SelectDB Cloud 的一项卖点。SelectDB Cloud 致力于解决湖仓并存方案的复杂性和冗余性。传统的企业因系统过多、架构复杂而存在组件多、接口多、维护困难、资源浪费等问题。相比较而言,用户仅需安装 SelectDB Cloud 一个系统就可以满足多种负载,还能同时支持结构化和半结构化的数据分析,以及负载隔离,大大提高了计算效率。而这背后的技术优化来源于三个核心技术,即混合负载、结构化/半结构化数据支持以及湖仓一体。

首先是混合负载,除传统OLAP场景,SelectDB Cloud 也着力解决 Spark / Hive 等传统批量数据处理(ETL/ELT)的性能和效率问题。在 SelectDB Cloud 上可以将大批量的离线 ETL 变成实时、小批量和增量的ETL,并使用 dbt 等工具配合构建数据变换。利用 SelectDB Cloud 全内存的框架和向量化的引擎,结合简单便捷的标准 SQL 和 Java UDF 的个性化处理,可以实现极大的性能和效率提升。一个典型ETL(SSB 100G打平成SSB宽表的过程)测试显示,基于 SelectDB Cloud 的性能是 Hive 的54倍,Spark的12倍,某友商云数仓的8.4倍。

其次是结构化/半结构化支持,SelectDB Cloud 高效原生地支持了半结构化数据的高效存储和检索分析,在半结构化数据的灵活高效存储方面,支持了Array、JSONB、Map 等复合数据类型,支持灵活快速的 schame 变更,最重要的是支持动态 schema 表,可以自动识别数据的字段和类型、自动扩展新字段、动态扩展表结构 。在半结构化数据高效分析和处理方面,支持包含倒排索引、BKD索引、N-Gram 等丰富的索引结构来加速检索分析,支持向量化的字符串处理和匹配函数 。SelectDB Cloud 用在日志存储分析典型场景下,相比传统的 ElasticSearch 的方案,能够达到4.2倍写入性能提升,占用1/5的磁盘空间,达到2.3倍的查询性能提升。

最后是湖仓一体,SelectDB Cloud 支持对已经建设的离线数仓和数据湖进行联邦查询,实现高性能的同时,不需要迁移历史数据。第一,支持便捷的元数据打通,通过 Multi-Catalog 机制自动映射外表元数据,自动完成database 和 table schema 的同步,同时对热的元数据自动 cache,并且能够支持手动和自动刷新;第二,支持多种外表的联邦查询,包含Hive、Iceberg、Hudi、关系型数据库、ES、以及各种支持HMS协议的云数仓。基于这些能力,利用 SelectDB Cloud 极致的查询引擎性能,并结合对热数据的 cache,SelectDB Cloud 能够达到相比Trino 3-5倍的性能优势。

除了上述重点优势, SelectDB Cloud 兼容 MySQL 连接协议、面向管理员简单便捷的管理控制台、丰富的数据导入方式、分层的用户权限体系、安全便捷的连接方式、以及开源开放、多云中立等特色,都能很好地满足众多行业用户尤其是传统行业用户的建设需求。

SelectDB Cloud 可以应用在多种多样的数据分析应用场景中,此次发布会 SelectDB 以业务场景的视角持续推出了四大最佳实践和解决方案,分别是面向企业内部的现代化数据平台、面向外部客户的报表与分析、用户画像与行为分析解决方案、日志存储和分析解决方案、旨在打通数仓落地的最后一公里。

携手共赴星辰大海 “SelectDB Partners” 合作计划发布

在云原生时代势不可挡的今天,SelectDB 希望能够像“星星之火”一样,通过和生态内的伙伴携手并进,落地覆盖至更多企业、行业的业务场景,为企业的数字化转型之路提供“可以燎原”的势能。基于此,SelectDB 在发布会上正式发布了 “SelectDB Partners" 合作伙伴计划,对解决方案合作伙伴、服务合作伙伴和销售合作伙伴这三大类伙伴进行招募,以此共谋创新成长之路。

秉持着“开放共赢”的合作理念,SelectDB 也为合作伙伴制定了一系列针对技术合作、市场合作、销售合作的相关权益,希望通过专业的培训与支持、技术方案共创、品牌活动与产品推广支持、商机共享等覆盖市场开拓多链路的助力,帮助每一位 SelectDB Partner 更好地发展。

虽然仅成立一年,但 SelectDB 在迅速发展之下,已经得到领域内各行业优秀伙伴的认可,并与他们开启了战略合作,陆续推出数据中台、BI 应用等平台级解决方案和互联网、金融、政府、制造等行业级的解决方案。

时至今日,SelectDB 也已经为很多的客户提供了产品和服务。在互联网、物流、金融、汽车、交通、零售、制造、政府等领域和行业,帮助用户落地数仓平台,解决业务分析、运营管理、用户洞察、智能决策等诸多方面的需求。例如趣头条、海程邦达、航旅纵横、安踏、BOSS直聘、360数科等诸多知名企业都已经开启了 SelectDB 云数仓应用之旅。

最后,SelectDB 创始人兼 CEO 连林江表示:“社会大规模拥抱数字化,业务的在线化、实时化、场景化则是成功转型的关键所在,这一过程中数据的海量规模、实时分析和敏捷开发则对社会组织带来了持续的挑战。创新产品是为了价值赋能!SelectDB将坚持开源+云的产品战略,以及开放共赢的合作服务理念,践行“技术普惠”和“价值赋能”。我们愿与全球用户和合作伙伴一起迎接挑战,秉承谦逊之心,持续保持创新,共同勾勒云数仓的未来!为数而生,因云而新,未来一路同行!”


网站编辑: 刘李浩

0

第一时间获取股权投资行业新鲜资讯和深度商业分析,请在微信公众账号中搜索投中网,或用手机扫描左侧二维码,即可获得投中网每日精华内容推送。

发表评论

 / 200

全部评论

—— 没有更多评论了 ——
—— 没有更多评论了 ——
联系我们 欢迎投稿
  • 投中网
  • CVS投中数据
  1. 创新经济的
    智识、洞见和未来

  2. 投资人都在用的
    数据专家

返回顶部