——嘉云数据Club Factory技术部负责人 马金金
Club Factory由中国公司嘉云数据于2016年创建,是一家时尚、美容和生活方式的电子商务商店,总部位于浙江杭州。其产品有三个特点:非品牌、时尚和低价。为此,Club Factory整合了上百万供应商,无需提前备货。在Club Factory诞生前,嘉云数据的主打产品为爆款易,这是一个SaaS数据智能平台,帮助供应商根据工厂和库存数据做出决策。
Club Factory定位于创新型出口电商、轻自营跨境电商平台,上游已整合数千万个SKU,下游则覆盖27个国家和地区,其中超过10个国家APP购物榜单排名前5,14个国家排名前10。Club Factory平台目前积累了1亿多全球用户群,其中8000多万来自印度,跻身印度跨境电商平台前列。在电商领域,Club Factory是少数可以用轻自营模式运营上千万SKU的平台。
用大数据连接供应端和消费端
嘉云数据于2014年12月创立的爆款易(应用于供应链管理)很快成为了面向制造商的最大的数据分析平台之一。拥有20多万家工厂的库存数据,借助大数据找出爆款货源,帮助供应商快速增加收益。2016年,嘉云数据消费端产品Club Factory海外上线,用大数据AI服务平台重构出海电商供应链。
现在,Club Factory已经完善了以零售业务为主的供应链管理系统,专注于个人和配对,基于人工智能算法向用户推荐产品。其应用程序采用人工智能技术,实时比较各个制造商的价格,为客户提供最低的产品价格。这有助于减少不必要的中间环节,降低成本。此外,Club Factory的SaaS产品可以为供应商提供生产相关建议,比如爆款商品的详细信息以及用户喜欢的设计方案等,降低滞留库存和成本。
目前,Club Factory月活近亿,包括订单、交易、支付、大数据分析等在内的所有电商平台服务均运行在AWS云上。平台日均实时流入15亿级行为日志,支撑80位工程师数据分析和算法需求。每天支撑约180个活跃数据分析调度任务,每天同步4000+业务数据表到数据仓库,后者支撑的数据总量达到约600TB,每月新增约30TB数据。
图1和图2 分别是Club Factory基于AWS的数据架构示意图和基于AWS的全站架构示意图。Club Factory所使用的AWS服务包括Amazon Elastic Compute Cloud (Amazon EC2)、Amazon Simple Storage Service (Amazon S3)、 Amazon Virtual Private Cloud (Amazon VPC)、AWS Lambda、Amazon Elastic Container Registry (Amazon ECR)、Amazon Redshift、Amazon DynamoDB、Amazon Elasticsearch Service (Amazon ES)、Amazon ElastiCache、Amazon Relational Database Service (Amazon RDS)、Elastic Load Balancer (ELB)、Amazon Kinesis、Amazon CloudFront、Amazon CloudWatch、AWS Identity and Access Management (IAM)等。
<img src=\"https://www.jinniucaishui.com/uploads/iconfont/img/16.png\" alt=\"\” />
图1:Club Factory基于AWS的数据架构示意图
图2:Club Factory基于AWS的全站架构示意图
完美适配跨境电商:AWS的“杀手锏”
谈到跨境电商平台对云平台IT基础设施的关键要求,在Club Factory看来,网络、存储和大数据分析非常重要。其他云服务商无法满足跨境电商的业务需求,而AWS则能够提供一整套成熟、完善的解决方案。
迁移至AWS之前,Club Factory在海外使用的是其他云服务商,其在海外的CDN布局有所欠缺。起先,Club Factory使用Amazon CloudFront做CDN解析,发现和业务配合得很不错,后来就将数据库等服务迁移至AWS。在此基础上,配合大数据分析业务,越来越多地使用AWS服务。图3是Club Factory基于AWS的网络架构示意图,主要使用Amazon VPC网络,大分区放在美国,前端基本在印度。通过AWS全球骨干网络,实现分区间类似本地内网的数据传输效率。由于AWS在印度区域接入了当地90%以上的运营商,所以本地用户体验非常好。
图3:Club Factory基于AWS的网络架构示意图
谈到存储,马金金指出,Amazon S3跨区域的同步功能令人印象深刻,可实现图片的自动同步。目前,Club Factory的SKU已达两三千万,图片存储量近五千万。Amazon S3的存储空间是近乎无限量且用户透明的,同时具备强大的写入性能,并且完成写入后,可在全球不同区域自动完成数据同步。在所有图片发布到Amazon S3时,Club Factory通过AWS Lambda实现图片的实时自动裁剪,适应约8-9种不同终端的访问规则,每周裁剪近一百万张图片。Club Factory团队只需提供代码,完全无需考虑后台基础设施,大幅减少运维和管理工作。
大数据分析方面,Club Factory主要基于AWS云开展三方面工作:第一,个性化推荐。基于用户在平台上的所有行为做实时自主推荐;第二,BI报表,包括转化率、DAU、用户购买单价等信息按天计算呈现,高效辅助运营决策;第三,一些按不同时间间隔划分的异步任务,比如以小时计的单量转化率变化情况、流量变化等,监控整体线上业务运行。
目前,Club Factory借助AWS数据湖理念与解决方案,解耦数据计算与存储, 实现业务进行任意规模的扩展。Club Factory目前主要使用包括实时流数据服务Amazon Kinesis、数据同步工具DMS、ETL工具AWS Glue、Data Pipeline、数据仓库Amazon Redshift、Amazon EMR集群等在内的整体AWS大数据产品体系,用到的服务覆盖整个数据分析端到端处理流程,包括数据收集、存储、分析以及使用。
通过Amazon Kinesis,可以获取业务日志以及用户点击流等实时数据,即刻对收到的数据进行处理和分析并做出响应,无需等到收集完全部数据后才开始进行处理。
<img src=\"https://www.jinniucaishui.com/uploads/iconfont/img/33.png\" alt=\"\” />
借助AWS Glue的无服务器架构,降低ETL和操作层面的复杂度以及额外的工作量,同时也为新的分析技术提供前瞻性的扩展能力,比如AI。
马金金认为,AWS的优势是可以通过不同类型的产品服务排列组合充分满足业务需求,这是其独特的优势。据了解,Club Factory数据分析团队有十几人,算法团队20-30人,包括推荐算法、商品算法和供应链算法。此外,还有算法引擎这块重要内容,将数据离线同步到Amazon Redshift后做数据分析,同时还将离线数据做索引后放在Amazon ES上,都会整体使用到AWS大数据服务。
零库存、轻自营:“人工智能+”技术创新
通过大数据AI服务平台连接消费侧与供应侧,Club Factory现已实现了“人工智能+商品”、“人工智能+消费者”、“人工智能+供应链”的全方位技术创新:基于商品知识图谱的商品管理系统,有效实现机器管理千万量级的前端商品,克服传统电商平台卖家需手动上下架商品和更改商品价格的困难,实现实时的商品智能上下架和价格动态展示。
海量丰富的商品数据,为用户带来了多样的购物选择的同时,提供了更多的感官体验;基于海量用户行为数据,搭建多维度立体清晰用户画像。用户浏览和购买的商品越多,系统对用户偏好就越了解。基于商品与用户画像建模,人工智能使得用户非常便捷地在平台上找到喜欢、适合自己的商品;人工智能系统有效地集成商品管理模块、仓储管理模块、供应商管理模块、用户管理模块、订单管理模块,通过匹配海外消费者需求,指导出口厂家的生产,大幅优化行业效率,降低行业市场成本30%以上。
智能推荐是Club Factory的核心特色。当用户下单时,后台会自动匹配一个“最优供应商”,综合退货率、入仓时效、商品质量等信息。对于用户而言,一方面收货时间更短,同时也能享受到相对实惠的价格。
使用AWS云以后,马金金总结了以下几方面印象深刻的体验和收益:
第一,支持自动化扩展,运维成熟度高。Club Factory现已实现将自己创建的自动化运维平台与AWS API打通,AWS所有服务的操作都提供规范清晰的API,可以帮助我们进行自动化脚本控制,大大减轻运维压力。尤其在电商大促、闪购等活动期间,平台可以无缝地应对激增的QPS。
第二,本地化的支持服务。虽然Club Factory一直使用的是AWS海外的资源,AWS本地团队则自始至终为Club Factory提供包含销售、业务架构师、方案架构等在内的全方位支持服务,保证用户的平台使用体验,第一时间满足业务发展需求,避免走弯路。
第三,基于AWS云的强大资源能力和丰富产品功能,Club Factory实现了与大量业务应用相结合,有针对性的优化。比如,印度区域和俄勒冈区域通过Amazon VPC的对等连接,中间网络通过AWS骨干网连接;以及Amazon VPC网络和技术架构升级,Club Factory将整个导购链路的页面加载时间优化到一秒左右,大幅提升前端用户体验,平均用户停留时间增加了20%。
用户评论
巷雨优美回忆
只能说这个“只有三名运维人员”确实很给力了!虽然我们的公司规模没他们那么小,但对上云迁移一直犹豫不决… 看他们成功案例感觉是不是该考虑下?
有13位网友表示赞同!
陌潇潇
我们之前因为担心服务中断就舍不得上云,现在看来是多虑了,三名运维人员就能把事情办妥说明了,上云确实能更高效!
有6位网友表示赞同!
站上冰箱当高冷
这个企业上云案例很有建设意义,希望能看到更多这类实操案例分析,帮助我们更好地理解上云的具体操作流程和效果评估。
有18位网友表示赞同!
强辩
电商平台虽然看似不需要太多运维人员,但关键在于软件功能性和安全性啊,这篇文章没讲到这些是不是不太全面?
有15位网友表示赞同!
荒野情趣
三名运维人员也太少了吧?万一出了问题谁来解决?还是说企业有其他保障机制?文章里需要详细说明一下!
有20位网友表示赞同!
别伤我i
很有意思的案例,不过我更关心他们的云平台选择哪家?不同云服务商的服务能力和价格差异很大呢!这篇文章对比一下更全面啊!
有19位网友表示赞同!
秒淘你心窝
作为一个小团队,上云的确可以给我们省下很多成本和精力,感谢这个案例分享了这么宝贵经验!
有9位网友表示赞同!
風景綫つ
文章的例子挺具体的,让人感觉很有真实感。希望以后能看到更多不同行业的企业上云案例,比如医疗、教育行业等等,多维度了解上云应用场景。
有19位网友表示赞同!
酒笙倾凉
对于小型企业来说,三名运维人员确实可以胜任大部分工作了。当然,也得看企业的业务复杂度和风险承受能力!
有20位网友表示赞同!
拉扯
文章分析得比较透彻,尤其是对企业在选择云平台时应该关注的关键因素进行了深入的探讨。非常实用!
有16位网友表示赞同!
病房
我们公司的运维团队很大很庞大,三名就足以支撑整个电商平台?感觉有点夸张啊… 或许需要根据实际情况来评价。
有7位网友表示赞同!
又落空
这个案例说明了云计算技术的成熟程度,不仅可以提供强大的技术支持,还可以有效地降低企业运维成本!
有20位网友表示赞同!
我没有爱人i
虽然三个人员就承载了整个电商平台的运维,但是这背后肯定有很多高效的系统和流程支撑吧?文章并没有详细解释这些细节。
有8位网友表示赞同!
淡抹丶悲伤
我们一直在关注云战略转型,这个案例给出一个清晰的方向,感谢分享!尤其对小型企业转型升级很有参考价值!
有17位网友表示赞同!
仰望幸福
感觉这个案例还是偏向于宣传上云的优势,并没有充分呈现可能存在的风险和挑战。一个全面的案例还需要更详细的数据分析和真实案例描述。
有17位网友表示赞同!
白恍
中小企业上云是未来发展的趋势,但每个企业的具体情况不同,需要根据自己的实际需求来选择合适的云服务方案。
有19位网友表示赞同!
冷青裳
这个案例分析得很细致,对我们企业如何优化运维流程提供了一些启发。特别是关于人员管理和技术选型,都是非常重要的方面!
有14位网友表示赞同!
十言i
上云确实可以降低运维成本,提高效率。但是不同公司的情况不同,需要结合自身情况进行评估才能决定是否适合上云。
有14位网友表示赞同!