笔者目前所在公司整体的数据中心从ck切换到doris,在切换为doris的半年使用过程中,doris的稳定性和可维护性经受了校验,从而现在计划将日志中心从Clickhouse切换为Doris。为此笔者进行了六个方向的技术调研,现在分享给大家。
文章导航
一、日志系统ClickHouse和Doris是什么?
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS),以其卓越的性能和实时分析能力而闻名 。
Apache Doris是一个基于MPP架构的高性能、实时的分析型数据库,它以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果 。
二、日志系统ClickHouse和Doris功能和特性对比:
ClickHouse支持向量化执行引擎,提供多种表引擎,如MergeTree、Log等,适合执行聚合查询,并且支持数据分区和数据复制功能 。
Apache Doris支持多种存储模型,如聚合模型、主键模型和明细模型,以及强一致的物化视图,提供向量化执行引擎,优化了宽表聚合场景下的性能 。
三、日志系统ClickHouse和Doris哪个易用性和兼容性好?
ClickHouse的SQL语法相对独特,可能需要一定的学习成本,但提供了详细的文档和社区支持 。
Doris的SQL语法与MySQL相似,提供了丰富的文档、社区支持和开发者工具,与多种BI工具和可视化平台兼容性好 。
四、日志系统ClickHouse和Doris社区和文档支持对比
ClickHouse有一个活跃的社区,提供了大量的文档和支持,但某些特性较为独特,可能需要更深入的了解和学习 。
Apache Doris社区活跃,提供了良好的支持,社区贡献者众多,有详细的文档和用户案例 。而且官方文档比较详细
五、日志系统ClickHouse和Doris哪个性价比高?
ClickHouse作为一个开源解决方案,可以降低成本,但可能需要更多的定制化和较深的技术实力,运维成本相对较高 。特别在节点替换和
Apache Doris使用成本低,是一个强一致性元数据的系统,导数功能较为完备,查询SQL的标准兼容好,弹性伸缩能力要好 。
六、日志系统ClickHouse和Doris技术预研和原型测试
ClickHouse在单表查询性能上表现卓越,但在处理复杂查询和关联查询时可能不如Doris灵活和高效 。
Apache Doris在多表查询性能上优势明显,尤其是复杂Join和大表Join大表的场景,提供了多种Join方式,如BroadCast Join、Shuffle Join/Bucket Shuffle Join和Colocation Join 。
七、ClickHouse和Doris对比重点
通过上述验证后,结论如下:
- ck的维护难度较doris的维护难度更高,而且技术学习成本较doris高
- doris自带日志消费模块,不用二开维护,而ck的消费者需要二开,耗费研发资源
- doris-manager自带可视化查询面板,不用引入外部可视化组件
- ck的技术支持不足,doris有相关的社区群进行技术支持并且响应及时
总结
在技术预研过程中,经测服务日志格式不用变动即可无缝从ck切换到doris,从而日志系统从ck切换到doris,仅需要运维资源投入勿需研发资源消耗。
延展阅读:
咨询方案 获取更多方案详情