Amazon EMR、Amazon MSK 和 Amazon Redshift的无服务器功能可帮助客户大规模分析数据,而无需配置、扩展或管理底层基础设施
【资料图】
日前,亚马逊云科技宣布三种数据分析服务的无服务器功能正式可用,客户无需配置、扩展或管理底层基础架构,即可轻松地分析任何规模的数据。Amazon EMR Serverless让客户无需管理底层基础设施,即可使用开源大数据框架(如 Apache Spark、Hive)运行分析型应用程序;Amazon Managed Streaming for Apache Kafka (Amazon MSK) Serverless可简化实时数据摄取和流式传输;Amazon Redshift Serverless让客户无需管理数据仓库集群,即可以PB级数据规模运行高性能分析工作负载。亚马逊云科技此次的新发布以及其他无服务器数据分析服务,如用于商业智能的 Amazon QuickSight、用于数据集成的Amazon Glue,让客户能够更轻松、经济高效地构建现代化基础设施分析任何规模的数据,无需规划容量,也不会担心产生因按峰值需求过度配置的额外成本。客户使用Amazon EMR Serverless、Amazon MSK Serverless和Amazon Redshift Serverless无需预先承诺付费或支付额外费用,只需为其数据分析工作负载所需的容量付费。
亚马逊云科技数据库、数据分析和机器学习副总裁Swami Sivasubramanian表示:"企业为了推动创新、改善客户体验以及做出更快更好的决策,希望能最大化数据价值。为了帮助企业更轻松地实现这一点,我们推出了广泛的云中数据分析无服务器功能,覆盖数据仓库、大数据处理、实时数据分析、数据集成、交互式仪表板和可视化等众多领域。我们新推出的这些无服务器功能,让客户可以更好的运行不可预测以及间歇性的数据分析工作负载,并将分析工作扩展到整个组织,无需考虑资源配置、容量扩展或者担心产生额外成本。"
为帮助客户最大化数据价值,亚马逊云科技提供了广泛的、专门构建的数据分析服务,包括处理大量非结构性数据(使用Apache Spark 和 Hive 等开源大数据框架)的Amazon EMR,处理实时数据流的Amazon MSK,以及用于数据仓库的Amazon Redshift。虽然这些服务已经为客户提供了强大的功能,但仍有客户希望能进一步帮助他们处理具有高度不确定性或者间歇性的工作负载,不必管理底层基础设施,并自动根据应用程序需求增减资源。为了消除扩展和管理基础设施的复杂性,亚马逊云科技于 2014 年在计算领域引入无服务器、事件驱动的概念。借助亚马逊云科技的无服务器技术,包括用于实时数据流的Amazon Kinesis Data Streams、用于数据集成的Amazon Glue以及用于交互式仪表板和可视化的Amazon QuickSight,大量客户已经实现了自动部署、按需缩放、按需付费。亚马逊云科技新推出的Amazon EMR、Amazon MSK和Amazon Redshift的无服务器功能,进一步扩展了其数据分析的无服务器能力,让客户能够更轻松地将数据分析扩展到更多用户,最大化数据价值,同时降低成本。
Amazon EMR Serverless实现无服务器的大数据分析:数以万计的客户正在使用Amazon EMR运行包括Apache Spark、Hive和Presto等开源框架,用于大规模分布式数据处理作业、交互式 SQL 查询和机器学习应用程序。Amazon EMR支持云中广泛的大数据框架,让客户以低于本地解决方案一半的成本,更快地运行大数据应用程序和PB级数据分析。客户只需简单指定想要运行的框架, Amazon EMR Serverless就可以随着工作负载需求的变化,自动配置、管理和扩展所需的计算和内存资源。客户要开始使用Amazon EMR Serverless,只需要简单地选择一个开源框架,然后使用Amazon EMR API、Amazon Command Line Interface(Amazon CLI),或与Amazon EMR Studio集成的开发环境提交任务。Amazon EMR Serverless现已在美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、亚太地区(东京)和欧洲(爱尔兰)正式可用,很快将在亚马逊云科技其他区域推出。欲了解Amazon EMR Serverless,请访问aws.amazon.com/emr/serverless 。
Amazon MSK Serverless实现无服务器的流数据处理:越来越多企业正采用Apache Kafka捕获和分析来自物联网设备、网站点击流、数据库日志和许多其他持续生成动态数据的实时数据流。Amazon MSK Serverless可自动配置、管理和扩展集群,客户不必担心容量规划或不可预测的流式工作负载。客户要开始使用Amazon MSK Serverless,只需在Amazon MSK控制台创建一个集群,设置一个专用且安全的Apache Kafka endpoint,就可以使用新的或已有的Apache Kafka客户端进行流式数据传输。Amazon MSK Serverless现已在美国东部(俄亥俄)、美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(东京)、欧洲(法兰克福)、欧洲(爱尔兰)和欧洲(斯德哥尔摩)正式可用,很快将在亚马逊云科技其他区域可用。欲了解Amazon MSK Serverless,请访问aws.amazon.com/msk/features/msk -serverless 。
Amazon Redshift Serverless实现无服务器的数据仓库:数以万计的客户每天都在使用Amazon Redshift处理累计超过2EB的数据。与其它的企业云数据仓库相比,Amazon Redshift提供高达3 倍的性价比,以更低的成本为客户提供更快的数据分析。Amazon Redshift Serverless让客户无需管理数据仓库基础设施,即可轻松地从数据中快速获得洞察。当前自行管理 Amazon Redshift 集群的客户无需更改应用程序,就可以通过 Amazon Redshift 控制台或应用程序编程接口(API)轻松地将它们转移到新的无服务器集群上。Amazon Redshift Serverless现已在美国东部(俄亥俄)、美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(首尔)、亚太地区(东京)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(伦敦)和欧洲(斯德哥尔摩)正式可用,很快将在亚马逊云科技其他区域可用。欲了解Amazon Redshift Serverless,请访问aws.amazon.com/redshift/redshift-serverless 。
基于Apache Kylin,Kyligence Cloud致力于加速企业的业务智能和大数据分析。Kyligence联合创始人兼首席执行官韩卿(Luke Han)表示:"为了帮助客户基于海量数据做出关键业务决策,我们的平台要使用Spark任务加载和处理大量数据。随着规模变大,成本以及运营开销也随之增加。Amazon EMR Serverless把我们从维护和调优集群的管理任务中解放出来。Amazon EMR Serverless帮助我们降低了复杂性,我们不必为了提高性能而处理耗时的、根据工作负载需求的变化管理、调整和优化集群。它比我们以往的解决方案更具成本效益,这也节省了客户成本。"
Glas Data为农业部门提供简化的数据管理。Glas Data首席技术官兼创始人Robert Sanders表示: "我们使用 Amazon MSK 实时摄取和处理数据,为客户提供自动化的数据分析和预警。我们的工作负载是变化、不可预测的,有些只需要很少的容量生成少量消息,而有些则需要较大容量以生产大量的消息。工作负载的多变性让我们难以预测在什么时间采取何种行动,致使我们需要不断监控和调整容量,以避免无法预计的容量限制。Amazon MSK Serverless可根据工作负载要求自动扩展容量,节省了我们的系统管理开销,让我们不必担心内存和存储限制或产生额外成本,而将精力聚焦于解决方案的开发。"
Informatica提供了一个端到端的云数据管理平台,用于连接、管理、整合和治理数据,使企业能够现代化和推进其数据战略。"企业都希望提升数据和分析能力,但面临着数据孤岛、成本和基础设施管理方面的诸多挑战。"Informatica生态系统全球副总裁Rik Tamm-Daniels表示:"Amazon Redshift Serverless帮助我们应对这些挑战,该服务通过自动配置和扩展资源来满足需求,让我们更轻松地进行数据分析,无需搭建和管理数据仓库基础设施,也不必担心因按峰值需求过度配置而产生额外成本。Amazon Redshift Serverless以及我们在亚马逊云科技上的智能数据管理云,帮助我们为客户提供无服务器数据和数据分析的根基,支持客户的关键业务。"
亚马逊云科技将于9月22日-23日线上线下同步举办以"自由构建 探索无限"为主题的中国峰会,推出涵盖行业视野、技术创新、开发者、合作伙伴的4大主题演讲,覆盖云计算各细分领域的11大技术分论坛,汇聚各行业上云趋势及创新实践的13大行业分论坛,以及围绕实时热门话题开展的4大开发者论坛,分享前瞻洞察。即刻注册,让我们共同见证亚马逊的一小步,云计算的一大步。