本篇文章1622字,读完约4分钟

阿里巴巴在11月7日宣布,由其大数据团队开发的实时数据计算平台galaxy目前每秒拥有超过500万条数据。据估计,每秒钟的操作数将超过1000万,每天处理的消息数将超过1万亿。对于每笔交易数据,系统会实时重复检测70多次,以保证数据质量。

在一分钟内,营业额超过了1亿,超过1000万人涌入天猫。这是2013双十一购物嘉年华的第一分钟。这些数据以实时报告的形式显示在杭州淘宝网的大屏幕上。在大屏幕上跳跃的每个数字都来自阿里60多个系统之间的密切合作:当你在Double中尽可能快地杀死最畅销的产品时,这些系统已经完成了无数轮的数据收集、传输、处理、计算和对页面的反馈。这是阿里没有公开的技术——如何在保证数据质量的前提下实现实时计算。

阿里自研实时计算平台支撑双十一 每秒运算量超千万条

银河是阿里巴巴开发的通用增量计算平台,可以提供从几分钟到几秒甚至几毫秒的实时数据计算能力。Galaxy解决了计算通用性、开发成本和数据质量等诸多问题,并提供了可扩展的大规模集群服务能力。

目前,银河每秒可以计算500万条数据,每天有超过2500亿条记录和近2pb的数据。想象一下:当你还在试图计算1024×1024等于多少的时候,银河系已经在一秒钟内完成了500万次获取数据、完成计算和提交结果的整个过程。在今年的双十一中,用户浏览、交易和移动应用生成的数据量将大幅增加。到那一天,银河系的计算能力预计将超过每秒1000万条,每天处理的信息数量将超过1万亿条。

阿里自研实时计算平台支撑双十一 每秒运算量超千万条

阿里巴巴的数据质量团队介绍说:“银河不仅要快,还要确保它不会出错。”除了galaxy,Ali还开发了一个可以实时检测在线数据的系统,可以在不到一秒钟的时间内完成从数据生成到验证的过程,每笔交易可以实时建议70多次,以确保Double Eleven的数据不会出错。

例如,一个美国用户在双11事件中下了订单,并且刚刚支付了钱,这可能导致“已支付”状态数据由于国际网络的突然闪烁而没有被传输回来。此时,买方可能会看到“交易失败”的状态。但是,通过实时数据检测系统,消费者可以在发现问题之前向警方报告。或许,这个问题在消费者清醒过来之前就已经得到了纠正,而且没有“交易失败”的感觉。

阿里自研实时计算平台支撑双十一 每秒运算量超千万条

此外,银河还设计了数据“防漏”措施,即使服务器突然停机,它也能确保数据不会丢失,并在快速恢复后继续工作。想象一下:如果你在晚上和朋友约好去看电影时突然发高烧并昏倒,在正常情况下,你必须去医院治疗,你必须休息几天。星系不仅能自我修复,还能让时间回到那个夜晚。你和你的朋友继续去看电影。

目前,银河已经逐步支持阿里巴巴集团的大部分实时业务和应用,包括淘宝、天猫、阿里巴巴云、新秀、巨化、无线、搜索、广告、数据魔方等业务提供实时计算服务。

三链:吃昆虫、吃厕所和油炸??3.模纸锻造,模具模具模具模具模具模具模具模具模具模具模具??. 95镣铐和镣铐??0.07%锝58.....

当前流行度:0

[娇娇]http://itougu.jrj/view/189514.j.....

当前流行度:0

1.1 .涓涓细流??邦邦、邦邦、邦邦、交邦和廖廖??要坚强,要坚强。.....

当前流行度:0

你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道,你知道........

当前流行度:0

缇落入三条锁链??3镝??6铥??0(乌桕脂含有3条链吗??4镝??4铥??0)死,死,死,死又死,4.72??......

当前流行度:0

那墙,墙,墙和墙呢??钳子里有丰富的镰刀、叉子、叉子、nan和链条,这些都是銮棒的来源.....

当前流行度:1

你想挑起镝,破坏哮喘吗??缇,汤,汤,3汤和柊镶嵌??链条??4."敌鲁,缇,汤,汤,汤."??.....

当前流行度:0

咸丰、大树、细垴、十二寸、相互涓涓??环秀细链,涓涓细流,砸铙钹,甩铙钹,砸铙钹,砸铙钹,砸响,砸得咝咝作响??葛格·岳格·柊.....

当前流行度:0

来源:济南日报

标题:阿里自研实时计算平台支撑双十一 每秒运算量超千万条

地址:http://www.jy2z.com/jnxw/11331.html