您的位置:首页 > 互联网

揭秘亚马逊云科技Serverless三大新服务背后的技术原理_亚马逊云服务器收费标准

发布时间:2023-12-02 06:23:48  来源:互联网     背景:

每年的11月底到12月初,全世界云计算领域,乃至整个科技产业的目光都会整齐划一地聚焦到拉斯维加斯:全球一年一度最大规模的盛会——亚马逊云科技re:Invent在这里举办。

在11月28日-12月1日的四天时间里,2023亚马逊云科技re:Invent再一次如约而至,带来了这家引领全球云计算风潮与趋势走向的公司对数字技术的最新洞察和应用实践。

开启Serverless之旅

作为Serverless的开创者和引领者,亚马逊云科技不断加大投资,为客户的Serverless之旅保驾护航。以“Road to Serverless”为主题,亚马逊云科技高级副总裁Peter DeSantis开启了当天的主题演讲。在他看来,开始这段旅程最好的地方理应是关系数据库。

从理论上来看,数据库的Serverless必然会大有用武之地。然而由于数据机制以及技术等方面的桎梏,在数据库上实现Serverless一直是非常困难,直到Amazon Aurora。

在Amazon Aurora的诸多创新中,有一项意义重大却又容易为外界忽视的功能,即内部数据库优化分布式存储系统,亚马逊云科技内部将之称为Grover。

Grover允许将数据库和存储本身分开,听起来并不令人印象深刻。表面上看,Amazon RDS使用EBS与存储解耦,EBS所做的几乎与Grover一样。

实际上呢,EBS只是提供了为数据库配置更好实例的能力,而Grover能做的远远不止于此。与Amazon Aurora一样,Grover架构的重点围绕着日志。

作为数据库必不可少的元素,日志记录了数据库里发生的所有事件,用户可以快速运行查询并高效进行交易,而不是确保每一个修改过的内存页面立即被同步。

数据库引擎使用以下方法仔细记录其采取的每一个步骤,一种叫做直接预先记录的技术。得益于此,日志释放了数据库引擎的其余部分,使之专注于性能,同时不必担心保持一致性和耐用性,还可以在任何时间点恢复数据库。

数据库会将每条日志条目发送给Grover,通过将条目复制到多个可用区来记录,Grover保证它们的耐用性和可用性。不过,这也只是Grover强大的一部分。

Grover不只是在存储日志,实际上它是在处理日志,在远程系统创建数据库内部存储器结构的相同副本,这些数据结构可以发回去,在需要时随时访问Amazon Aurora数据库,因此可以将它们加载到数据库的内存中。

这样做的好处,是可以降低主数据库多达80%的I/O需求。与传统数据库不同,Amazon Aurora不再需要将内存页写入,只需要登录Grover存储和处理日志,就可以非常高效地完成工作。

Grover还提供了多个可用区的耐用性,用户无需为应用程序设置数据库。如果某个可用区出现故障,用户可以在其他可用区立即重新启动数据库。

Amazon Aurora还允许用户通过添加副本,轻松地扩大规模。当然,用户也可以使用Serverless扩展数据库存储,因为每个数据库都拥有到Grover的多租户分布式存储服务的访问权限,可以无缝高效地从单一表单扩展到大型数据库。

亚马逊云服务器收费标准

Amazon Aurora的推出,意味着亚马逊云科技往前迈出了一大步,减少了关系数据库服务满负荷的情况。神奇的Grover,为数据库的Serverless化,打下了必不可少的基础。

百尺竿头再进一步

Grover带来的从0到1的突破固然意义重大,但是仍没有达到亚马逊云科技的最终要求。之所以能够本次推出真正Serverless化的Amazon Aurora Limitless Database,在感谢Grover之外,我们需要首先为同样的幕后英雄Caspian记一大功。

Caspian是亚马逊云科技新开发的一个虚拟层,是跨越新虚拟机管理程序、热能量管理系统的创新组合,并且对数据库引擎进行了一些更改……所有这些创新促成了一系列的定制,能够以毫秒为单位来调整数据库的大小,响应数据库中发生的任何负载变化。

我们来看看一台运行Caspian的实例,与Amazon Nitro有何不同。该实例配备256GB内存,不过其中只有16GB用于数据库,因此Caspian热能量管理系统要求并授权该存储器,让它可以运行多个数据库并且允许这些数据库高效共享底层主机的资源。

与通常不同,由于Caspian的存在,我们获得了虚拟机管理程序的所有安全性和隔离性。那么在数据库需要更多内存时,以上的实例会发生什么变化?

据Peter介绍,Caspian热能量管理系统负责着管理底层物理主机的资源。当数据库想要扩展时,它就必须首先向热能量管理系统发起申请,索要资源。

在有更多资源可用时,热能量管理系统可以简单说“是”,数据库就可以立即扩展。在内存已经耗尽时,热能量管理系统的答复就成了“请稍候”,随即将Caspian实例发送到另一台具有可用容量的物理主机,高速的传输几乎不会对性能造成任何影响。

本质上,Caspian热能量管理系统是在不断预测哪些数据库将需要内存,继而优化队列,根据负载的变化来扩大和缩小规模,提供可扩展的数据库,并高效运行基础架构。

在这个过程中,亚马逊云科技开发的轻量化工具Request Routing Layer,由于身兼快速反应扩充、分区弹性扩充设计等特性,可以保证跨区域的数据库切片与重组,并确保其完整性和可靠性,真正实现了数据库的自动分配和弹性扩充。

就这样,亚马逊云科技向着数据库的Serverless化,又迈进了一大步——不过,这还不是全部。

(在本次大会上,Amazon Aurora Limitless Database正式发布,允许系统每秒高性能地写入数百万个事务,并在单个数据库中管理PB级的数据,为数据库的Serverless化真正指明了方向。)

时间就是无价之宝

“我们还没有完成任务。”Peter说。

前面,我们已经列举和说明过日志对于数据库的重要性。通常情况下,在单一服务器上,日志时间的序列维护非常简单和高效。那么,在分布式数据库中,我们是不是还能够确保日志中的事件以物理时间的先后来严格排序呢?

其实,摆在面前的选项并不多。

第一个是通过一台独立的时间服务器,让所有的数据库与之协调,但是这样做的效率非常低,而且几乎不具备扩展性。其二就是选择使用逻辑时钟,虽然避免了串行时钟的扩展限制,但是分布式逻辑时钟挑战太大。

最后一个笨办法就是通过一个同步的时钟,所有的服务器就都可以与之比较时间戳来对事件进行排序。不过服务器中的时钟每个月偏移差不多一秒,听起来似乎不多,但是已经足以使作为序列号的时间一钱不值。

与此同时,从一台服务器向另一台服务器发送消息所花费的时间各不相同,在不知道这个传播时间的情况下,时钟就不可能被精确同步。

亚马逊云科技采用了“笨”办法,通过最新一代支持自定义硬件的Nitro芯片,根据时间准确同步它们的本地时钟,脉冲由定制的时间同步网络传输。在这样一个架构里,机架顶部是专门的参考时钟,精确的时间来自基于卫星的原子钟,可以在世界上任何地方提供精确到十亿分之一秒误差的同步时钟。此外,每个机架还备有一个本地原子钟,防止那颗卫星暂时不可用。

据介绍,亚马逊云科技在每个可用区都设置了多个以上的时间分配机架。在这个机架下面,安装了专门的时间同步网络,它会分配定时脉冲,其中包括了Nitro片和FPGA,再加上Amazon EC2主机中的专用卡,一起用于实现时间同步网络。

该网络将定时脉冲直接分配给每两台服务器,这个分发的每一步都是在硬件中完成,没有驱动程序、操作系统或网络缓冲区来增加可变量,因此是一个专门定制用来同步时钟的网络。

这就是亚马逊云科技几周以前发布的新版Amazon Time Sync Service,它可以在协调全球时间(UCT)里以非常精准的方式为客户同步处理时钟,不论在世界哪个角落,都能精确到百万分之一秒。

显然,如此精确的时间足以让我们为应用程序事件进行排序、测量单向网络延迟,并提高分布式应用程序的事务速度。在这种情况下,拥有Amazon Aurora Limitless Database,也就意味着客户可以每秒处理成千上万个订单事件……

你敢想象,亚马逊云科技居然为了一个在其他很多厂商看来可能根本不值一提的小小功能上面,花费了如此大的心思和资源,做了如此多的努力与尝试?

ios 16 beta2 电池健康

事实上,围绕着Serverless的每一步,亚马逊云科技一直致力于为客户提供万无一失的应用环境,不遗漏任何的可能,全面保证客户业务的韧性和可持续性。

亚马逊云计算服务

说到这个,不由得想起最近一段时间某些大的云服务商和共享服务供应商频繁宕机的事件,不仅影响了诸多云上企业的业务与创新,还让习惯了数字生活的我们吃尽了苦头……

言归正传。

正是这种在Serverless领域的持续创新与不懈探索,亚马逊云科技为企业的应用创新提供了足够强大、足够坚韧、足够安全的平台,不断帮助企业消除无谓的冗余成本,解决业务创新的复杂难题,助力更多企业迈向更大的商业成功。


返回网站首页

本文评论
特斯拉上海工厂何时投产「特斯拉上海工厂9月交付超8.3万辆」
10 月 9 日讯:据乘联会公布数据显示, 9 月,特斯拉上海超级工厂交付超过8. 3 万辆汽车,创月度交付记录新高。三星s23ultra发布马云说的新零售是什么...
日期:10-18
ViTMatte:采用最新抠图技术 提供快速、高质量的抠像功能
9月21日 消息:ViTMatte是由NielsRogge开发的基于HuggingFace Transformers库的图像抠像工具,旨在为用户提供快速、高质量的图像抠像功能。这个工具能够帮助用户将图像中的前...
日期:09-21
100%自主指令集_国产龙芯CPU进驻国家重点工程_龙芯发布自主指令集
4月19日消息,据龙芯中科官方,在北京市国家科技传播中心的项目建设中,使用了基于完全自主指令集的国产龙芯CPU平台。据悉,本项目建设中,采用了基于龙芯3C5000服务器的运维BIM数字...
日期:10-02
钉钉支持鸿蒙「华为、钉钉达成合作,“钉钉鸿蒙版”将原生适配鸿蒙系统」
华为、钉钉达成合作,“钉钉鸿蒙版”将原生适配鸿蒙系统 通信产业网|2023-11-23 14:50:06作者:通文来源:通信产业网【通信产业网讯】11月23日消息,钉钉与华为举办鸿蒙原生应用开...
日期:11-29
引流利器!普渡机器人“葫芦”上岗南里奥巴西烤肉店
  1.迎接美食的暴击吧   有着13年历史,集口味、品质以及服务为一体的一流自助烤肉店——南里奥巴西烤肉,餐品无限量提供,减肥路上的绊脚石,食肉者的狂欢天堂! 那些烤肉的名...
日期:12-03
快手网红有谁在招徒弟「抖音快手终成淘宝“门徒”?」
  作者/黄青春Razer Book  “快手和抖音的电商成长路径太像了,虽然各自背靠的内容生态、流量分发逻辑,甚至电商打法、大主播成长路径不尽相同;但电商业务的起势、造势、基...
日期:09-29
美团联合苏宁易购:近3000个SKU商品最快30分钟外卖送达
10 月 21 日消息,今日,美团闪购对外宣布,与苏宁易购正式达成战略合作。截至目前,首批 175 城市 600 余家苏宁易购门店已入驻美团。后续,双方还将继续深化合作,计划在 2023 年入驻...
日期:10-26
广告变现如何进阶式提升?AdSet聚合广告SDK为您解答从哪方面入手!
首先可以从广告变现和用户体验的平衡入手—这边AdSet有三点建议:(1)广告合规化是必要当下,APP但凡想要开展商业化,最重要的一点就是要以广告合规展示为必要前提;同时,也需要保障用...
日期:04-18
淘宝直播发布《商家成长经营指南》_淘宝旗舰店运营
9月30日消息,淘宝直播依托今年宝藏好店主打的“五力模型”推出《商家成长经营指南》,旨在帮助不同层级的商家成功打通成长力、货品力、内容力、流量力、粉丝力五大方面中的“...
日期:10-03
2023年壮族三月三放假三天 是壮族特色的传统节日
近日,《广西壮族自治区人民政府办公厅关于2023年“壮族三月三”放假的通知》发布。今年“壮族三月三”,本自治区内所有公民休假3天。苏宁极物小Biu空调制热今年农历三月初三是...
日期:03-14
lightning接口内部结构图「被干掉的Lightning接口,曾让苹果每年躺赚百亿|甲子光年」
苹果能找到下一棵“摇钱树”吗?作者|RAM 朱悦‍‍‍编辑|栗子北京时间9月13日凌晨,Apple秋季新品发布会上,iPhone 15系列正式官宣。手机发布,靴子落地,历史上第一个Type-C接口的苹...
日期:09-15
AI透明度引发关注 科技巨头推工具解释算法决策过程_AI的透明度
  北京时间9月27日消息,人工智能技术的透明度和道德伦理问题正引发越来越多的关注,这促使云计算服务提供商推出新工具,解释人工智能算法背后的决策过程。  会计和金融等强...
日期:02-11
JBL Tour Pro 2 真无线蓝牙耳机发布,充电盒带有显示屏「jblgo2蓝牙音箱怎么连接」
IT之家 8 月 31 日消息,JBL 推出了一款独特的真无线蓝牙耳机新品 ——JBL Tour Pro 2,它的特别之处在于耳机盒上有一块显示屏。JBL Tour Pro 2 号称配备了“世界上第一个”智...
日期:09-25
有点慌!AI聊天机器人可根据对话内容推断用户信息_ai聊天机器人恋爱在线
划重点:分析师称中国用户对iPhone的忠诚度正在减退喜小茶是不是喜茶的品牌阿里巴巴 智能汽车...
日期:10-18
推特管理层大洗牌 马斯克需向三名被解雇高管支付逾2亿美元_马斯克推特消息
10月28日消息,据国外媒体报道,在马斯克27日晚间完成对推特的收购后,一上任就将管理层大洗牌,解雇多名推特原高管。pico4测评据知情人士透露,推特原首席执行官帕拉格•阿格拉瓦尔(P...
日期:11-02
海力士内存官网「SK 海力士称内存芯片复苏已经开始 人工智能需求强劲」
7月26日消息:韩国 SK 海力士周三表示,由于人工智能需求强劲,内存芯片市场正在从严重低迷中复苏,尽管其报告显示第二季度运营亏损。特别是企业买家和游戏个人电脑对内存芯片的需...
日期:07-26
腾讯持股yg「腾讯大股东Prosus:预计2023年年底对腾讯持股比例降至24%至25%左右」
凤凰网科技讯 7月17日消息,Prosus目前持有腾讯约26%的股份,价值约为1,120亿美元。该公司一直在缓慢出售所持腾讯股份,为回购提供资金。Prosus表示,预计今年年底对腾讯持股比例降...
日期:07-17
券商最新买入评级_20家投行齐给“买入”评级 腾讯年报能否一扫阴霾?
  腾讯即将在3月21日发布2018年的第四季度财报以及全年财报。这也是腾讯自2018年9月宣布战略调整以来首次发布年报,外界对此热切关注。   2018年10月30日,受外围股市调整...
日期:04-21
东方甄选淘宝开播1小时GMV突破1000万元
8月29日8点,东方甄选在淘宝开启直播首秀,开播刚刚1小时,截至早上9点,销售额突破1000万元,在线人数突破210万。做了电商之后的变化东方甄选自营烤肠1小时卖出6000单,东方甄选厄瓜多...
日期:08-29
特斯拉上海工厂一季度产量「消息称特斯拉上海工厂将主动减产20% 因汽车供应超过市场需求」
12月5日 消息:据知情人士透露,特斯拉计划削减其上海工厂的产量。此举再次表明,中国市场的需求并未达到特斯拉的预期。谷歌背后的财团苹果将使用增强版5nm芯片特斯拉的减产最早...
日期:12-06