您的位置:首页 > 电子商务

DorisDB在格洛博电商系统的应用实践

发布时间:2021-04-13 16:04:00  来源:互联网     背景:

  重庆格洛博电子商务有限公司是一家专注于跨境贸易B2C电子商务公司。格洛博早期主营互联网行业海外流量服务及流量变现,2018年初开始主力运营综合类商城网站,以客户需求为导向,以诚信之道为根本,以优质服务为使命,以物惠全球为愿景,为全球用户提供多元化的互动式购物体验,全方位打造B2C跨境电子商务综合体。

  格洛博数据技术团队基于DorisDB建立一个实时分析系统。生产环境引入DorisDB后,查询速度得到明显提升,较DorisDB上线前提升至少10倍以上。

  业务痛点及技术挑战

  格洛博作为一家自研电商平台的电子商务公司,自主研发了广告效果分析系统、订单管理系统、供应商管理系统、采购管理系统、仓储管理系统、物流管理系统等,多个系统各类明细数据筛选条件较多,实时数据自定义多维度分析报表较多,包括广告数据分析、销售订单分析、供应商分析、采购订单分析、库存分析、物流分析等等。

  目前公司业务需求在技术实施过程中,由于业务增长较快,团队研发能力无法快速跟上,大量业务依托于MySQL实现,主要存在技术难点如下:

  1.数据量大:业务明细数据较多,总体达10亿数据以上;

  2.多表join:各类多维度分析报表较多,涉及多个大表join;

  3.实时分析:业务依据广告效果投放,实时分析订单变化,及时调整广告预算;

  4.实时监控:动态监控下单流程行为,实时分析系统异常;

  5.日志数据:日志类与业务类数据同时存在于一体,没有区分冷热数据,导致MySQL性能下降。

  基于以上技术难点,我们期望寻找到可替代MySQL的数据库,或建立一个OLAP实时分析系统,提供一套快速、稳定的实时数据服务。

  技术选型

  为解决实时分析的时效性,同时又能保证数据快速写入查询,先后调研了TiDB、ClickHouse、DorisDB,汇总如下:

  •TiDB:一款定位于在线事务处理/在线分析处理(HTAP)的融合数据库产品,可替换MySQL,但生产环境要求配置较高,同时替换现有的MySQL数据库成本高。

  •ClickHouse:一款开源的OLAP列式分析系统,可单独部署不影响现有架构,面向大宽表,支持MySQL外表,但无法支持好多表join,同时现有的业务SQL也需要一定部分改写,运维相对复杂。

  •DorisDB:一款基于Apache开源基金会顶级项目Apache Doris开发的新一代极速MPP分析型数据库,可单独部署不影响现有架构,可多表join,实时数据查询分析快,现有业务SQL基本无需改写,支持MySQL外表,运维简单,同时支持高并发、冷热数据分离。

  综上所述,决定使用DorisDB建立一个实时分析系统。

  数据同步

  如上图所示,我们使用Canal+Kafka方式实时将MySQL同步到DorisDB。Canal是阿里巴巴开源的一个Mysql binlog同步工具,通过Canal我们可以把Mysql的数据同步到Kafka,在Kafka中数据是用Json的格式生成的,然后用DorisDB的Routine Load方式消费Kafka数据同步到DorisDB。历史数据通过创建MySQL外部表,使用INSERT SELECT方式导入到DorisDB。

  冷热数据存储

  实际使用DorisDB过程中,我们采用SSD/NVME+HDD实现冷热数据分离存储,SSD/NVME存储今年数据,HDD存储往年数据。同时DorisDB也支持冷热数据自动迁移的功能,相关建表参数可参考storage_medium、storage_cooldown_time等。

  DorisDB在各场景中应用

  1.自定义多维度分析:业务人员自定义各种维度时,系统自动化动态多表join,通过查询DorisDB快速响应查询结果;

  2.多条件明细数据查询:实现了时间跨度范围大的订单数据、物流数据快速查询;

  3.定时导出明细数据:实现了时间跨度范围大的明细数据快速导出;

  4.日志数据存储:利用DorisDB动态分区特性,大量操作日志存储于DorisDB,解决了日志类与业务类数据同时存储在MySQL导致的性能下降问题。

  DorisDB上线效果

  未使用DorisDB前,我们一直使用MySQL处理所有数据,包括了实时数据分析,技术部门经常收到业务部门的系统提速诉求,上线DorisDB后,提速诉求已基本没有,上线前后SQL查询对比结果如下表:

  综上表所述,在引入DorisDB后,查询速度得到明显提升,目前生成环境使用至少10倍以上。

  遇到问题及解决方案

  1.SQL查询GROUP BY:由于MySQL的sql_mode去掉了ONLY_FULL_GROUP_BY,转移DorisDB测试过程中存在查询报错“SELECT list is not in GROUP BY clause and contains nonaggregated column”,修改已有SQL即可解决;

  2.varchar长度问题:MySQL的长度以字符数计算,而DorisDB以字节计算,处理方案则是在生成创建DorisDB的SQL时,长度设置为原基础上的2倍;

  3.es外部表字符串部分显示为null:DorisDB创建Elasticsearch外部表时,属性参数enable_docvalue_scan默认为true,将其设置为false即可;

  4.动态创建分区不支持时间戳int型字段:DorisDB动态创建分区支持date、datetime字段,目前我们将时间戳int型字段修改为datetime字段存储,当然可以另外增加一列处理。

  作者:林元猛,重庆格洛博技术负责人,负责产品技术实现、系统架构设计等

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
双 11 之前,京东“小时购”业务正式发布:提速至小时达、分钟达
10 月 12 日消息,京东 11.11 前,由京东和达达集团携手打造的京东小时购业务正式发布,标志着京东发力即时零售,提速至“小...
日期:10-12
山寨家电品牌层出不穷 疯狂的“仿冒厂们”谁来管?
一场因拼多多上市引发的打假大战在近期成为大家热论的焦点。小米新品”、“ 创维先锋&rdq......
日期:09-08
云集微店、有好东、西好衣裤,社群电商是发展下线还是别有洞天?
2018年6月20到7月17日,不到一个月的时间里,好衣裤完成了两轮融资,创下了社群电商史上最快融资记......
日期:08-14
人工智能重塑零售行业!苏宁智慧零售“采销配服用”全面布局AI+
“数字化发展的未来,其最终表现一定是人工智能,它将体现在机器的自主学习、系统的自动反馈、......
日期:09-20
考拉爬树TV以差异化内容打造电商直播“梦工厂”
5月5日-5月14日,考拉海购6周年庆系列活动上线。考拉爬树TV作为考拉海购创制的高品质直播频道,以一......
日期:06-01
一季度二手手机市场谁最强?转转:苹果霸榜
2021年一季度,国内手机市场上有几十款新机型发布,平均每2天就有1台新手机面世。...
日期:04-21
全网最优惠,京东618买iPhone 12最低只需4868元,速看PLUS神券、政府消费券攻略
作为一年当中最热闹的购物盛宴,618正如火如荼进行中,想要趁618换一部新手机,京东成为了大多数人......
日期:05-31
国美推洗衣机新国标 倡导健康品质生活
9月3日,2018年首批通过洗衣机新国标产品发布会在北京举行,本次活动由知电和中国家用电器研究院共......
日期:09-04
上市即爆款!9月新品英雄榜,抖音电商哪些新品又火了?
针对单品的“抖in好奇新”计划-“新品扶持”定向扶持政策,为商家推新、达人带新、服务商孵新和消费者追新提...
日期:10-05
3-6岁小童人群最受母婴市场关注,“衣食用玩”还有哪些入场机会?| CBNData报告
当90/95后新生代父母“育见”15后,他们为小小后浪们准备了什么?伴随着互联网长大的90/95......
日期:04-21
大牌购物指南,zko构建新模式,品质生活低价享
马上就是七夕了,不少平台也都开始了购物节,不知道大家的钱包有没有大放血。但对于大多数人来说,......
日期:08-04
华为商城金秋钜惠,915品牌盛典等你狂欢!
随着9月15日的日益临近,华为商城(Vmall.com)的915品牌盛典也渐入佳境,这次由华为荣耀双线出击、全......
日期:09-14
亚马逊B2B平台发展迅猛 推出三年营收增加约9倍
据外媒报道,亚马逊面向企业买家销售办公用品的B2B平台Amazon Business发展迅猛,今年的营收有望超......
日期:09-12
以梦为马,无限可能:京东“京萌校园合伙人”勇探创新路
以梦为马,莫负韶华。8月24-25日在北京京东集团总部,京东商城-线下零售拓展部发起了为期两天的第一......
日期:08-29
京东品牌+供应链助力,辽宁鞍山这家实体店再也不为客流发愁了
买电脑、手机去数码城,买家电去大型电器商场,买米面油就去商超百货,分散开来的购物场景,曾是鞍......
日期:08-30
京东618手机京竞速榜风起云涌,千元机Redmi 9A获单品累计好评榜冠军
随着6月1日零点钟声敲响,各大厂商正式打响 618大战,京东618手机品类成交额最为抢眼。回顾2021年上......
日期:06-01
聚划算百亿补贴又补电影票,29.9元买淘票票50元通兑券
据统计,今年清明档全国总票房突破8亿元,去年受疫情影响的电影业正在加大火力,全速发展。对电商而言,......
日期:04-13
来自万和的宠爸惊喜!父亲节专题爆款礼物种草
有一种爱沉默寡言,有一种爱顶天立地,有一种爱负重前行。6月20日,又是一年父亲节,父亲节每年只有一天......
日期:06-20
京东618PLUS会员大日子来了:超级购物卡“买1得5”、百万商品专享好价
今年京东618,百亿购物金等超级钜惠与价保共同掀起了“抄底式购物”风潮。6月8日,京东PL......
日期:06-07
指尖微赚论社交电商推广的重要性
近年来,随着电商的兴起之后,在国内每一个行业领域中都开始涉及到电商模式。每一种电商的特点不一......
日期:09-07