Amazon Web Services は、ペタバイト規模のデータ処理能力を高めるために 5 つの新しいデータベースおよび分析サービスを開始しました。

2022 年 12 月 12 日、Amazon Web Services は2022 re:Invent Global Conferenceにおいて、データベースおよび分析製品ポートフォリオをカバーする 5 つの新機能を発表しました。これにより、顧客は PB レベルのデータをより迅速かつ容易に管理および分析できるようになります。 Amazon DocumentDB（MongoDB 互換） 、 Amazon OpenSearch Service 、 Amazon Athenaのいくつかの新機能により、顧客は大規模な高性能データベースおよび分析ワークロードをより簡単に実行できるようになります。さらに、Amazon Web Services は、データレイクとデータパイプライン全体のデータ品質を自動的に管理するAmazon Glueの新機能を発表しました。最後に、 Amazon Redshift は、複数の Amazon Web Services アベイラビリティゾーン (AZ) にわたる高可用性構成をサポートするようになりました。このリリースにより、お客様はデータワークロードに適したツールを利用でき、大規模な運用が可能になり、可用性が向上するため、AWS 上のデータを最大限に活用できるようになります。 Amazon Web Services を使用してデータの価値を引き出す方法の詳細については、aws.amazon.com/dataをご覧ください。

「データは本質的に動的であり、その潜在能力を最大限に引き出すにはエンドツーエンドのデータ戦略が必要です。データ戦略は、現在だけでなく将来も、顧客のニーズに合わせて拡張し、あらゆるタイプのユースケースに適応できるものでなければなりません」と、アマゾン ウェブ サービスのデータベース、分析、機械学習担当副社長、スワミ シヴァスブラマニアン氏は述べています。 「当社は、増大する膨大な多様なデータをお客様が最大限に活用できるよう、最も幅広く奥深いデータベースおよび分析サービスを提供することに注力してきました。これを基に、本日発表する新機能により、お客様はデータのクエリ、管理、拡張をより簡単に行えるようになり、データに基づく意思決定をより迅速に行うことができます。」

今日、組織は PB レベル、さらには EB レベルのデータを作成し、保存しており、データ ソースはデジタル メディア、オンライン トランザクション、さまざまな接続デバイスなど、ますます多様化しています。このデータの価値を最大限に高めるには、すべてのデータ ワークロードとアプリケーションに適切なツールを提供し、データの量と速度の増加に応じて確実に拡張および実行できるエンドツーエンドのデータ戦略が必要です。お客様が独自のエンドツーエンドのデータ戦略を設計できるように、Amazon Web Services では、リレーショナルデータベース用の Amazon Aurora やドキュメントデータベース用の Amazon DocumentDB など、お客様の最も重要なユースケースに合わせて最適化されたフルマネージドデータベースを含む、業界で最も包括的なデータサービスとソリューションを提供しています。また、検索および分析ワークロード (リアルタイムアプリケーション監視、ログ分析、Web サイト検索など) 用の Amazon OpenSearch Service、インタラクティブ分析用の Amazon Athena、データ統合用の Amazon Glue、データウェアハウス用の Amazon Redshift など、お客様がデータから貴重な洞察を得るのに役立つさまざまな分析サービスも提供しています。このリリースでは、これらのサービスに加えて高度な機能が提供されます。

Amazon DocumentDB Elastic Clusters は、1 秒あたり数百万回の書き込みのパフォーマンスを備えたペタバイト規模のアプリケーションをサポートします。 Amazon DocumentDB は高速で、スケーラブル、高可用性、完全マネージド型であるため、何万ものお客様がドキュメントワークロードの実行に使用しています。各 Amazon DocumentDB ノードは最大 64 TB のデータまで拡張でき、1 秒あたり数百万件の読み取りリクエストをサポートできますが、一部のお客様は、これらの制限を超えて拡張し、1 秒あたり数百万件の書き込みをサポートし、ペタバイト単位のデータを保存する能力を必要とする厳しいワークロードを抱えています。これまで、これらのお客様は、複数の Amazon DocumentDB ノードにわたってデータを手動で分割し、容量を管理する必要がありました。 Amazon DocumentDB Elastic Clusters を使用すると、数分でスケールして単一のデータベース ノードの制限を打ち破り、1 秒あたり数百万回の読み取りと書き込みをサポートし、最大 2 PB のデータを格納できます。ワークロードの需要が増加すると、Amazon DocumentDB Elastic Clusters は分散ストレージシステムを使用して、大規模なデータセットを複数のノードに自動的に分割できます。顧客は、データ セットを分割したり、ノード間で容量を手動で管理したりするためにカスタム コードを記述する必要がなくなりました。基盤となるインフラストラクチャは自動的に管理されるため、顧客はデータベース クラスターを構成、拡張、管理することなく、必要に応じて簡単に容量を拡張できます。 Amazon DocumentDB Elastic Clusters の詳細については、aws.amazon.com/documentdb/features/#elastic_clusters をご覧ください。

Amazon OpenSearch Serverless は、検索および分析ワークロードを自動的にスケーリングします。何万ものお客様が、Web サイト検索やリアルタイムのアプリケーション監視などのユースケースをサポートするために Amazon OpenSearch Service を使用しています。これらのワークロードの多くでは、断続的に使用量が急増するため、事前に容量を計画することが困難になります。 Amazon OpenSearch Serverless は、OpenSearch インフラストラクチャを自動的にプロビジョニング、構成、拡張し、予測不可能な断続的なワークロードでも高速なデータ取り込みと数ミリ秒単位のクエリ応答を提供します。 Amazon OpenSearch Serverless を使用すると、データの取り込みと検索リソースを個別に拡張でき、パフォーマンスを損なうことなく両方の操作を同時に実行できます。 Amazon OpenSearch Serverless を使用するお客様は、自動プロビジョニング、オンデマンドスケーリング、従量課金制などのサーバーレスの利点に加え、組み込みのデータ視覚化、ログデータの理解、異常の特定、検索関連性ランキングの表示などの Amazon OpenSearch Service の機能も利用できます。 Amazon OpenSearch Serverless の詳細については、 aws.amazon.com/ opensearch-service/features/serverless をご覧ください。

Amazon Athena for Apache Spark は、インタラクティブ分析の起動時間を 1 秒未満に短縮します。顧客は、サーバーレスのインタラクティブクエリサービスである Amazon Athena を使用します。標準の SQL インターフェイスを使用して Amazon Simple Storage Service (Amazon S3) のデータをクエリします。これは、PB レベルのデータをクエリする最も便利で高速な方法の 1 つです。多くのお客様は、Java、Scala、Python、R などの一般的な言語フレームワークをサポートするビッグ データ ワークロード用のオープン ソース処理フレームワークである Apache Spark を使用する際にも、同様の使いやすさを求めています。開発者は Apache Spark の高速なクエリ速度と使いやすさを高く評価していますが、クエリを実行するたびに Apache Spark インフラストラクチャの構築、管理、スケーリングに時間を費やすことは望んでいません。 Amazon Athena for Apache Spark を使用すると、顧客はリソースを自分でプロビジョニング、構成、拡張する必要がなくなります。インタラクティブな Apache Spark アプリケーションは 1 秒未満で起動し、AWS に最適化された Spark ランタイムで実行されるオープンソースソリューションよりも高速に実行されます。 Amazon Athena は他の Amazon Web Services と統合されているため、顧客は複数のソースからデータをクエリし、操作を連結して複雑な分析を行い、結果を視覚化することができます。 Amazon Athena for Apache Spark は、アプリケーションのニーズに基づいて必要なリソースを自動的に決定し、オンデマンドで拡張するため、お客様は実行したクエリに対してのみ料金を支払います。 Apache Spark 用の Amazon Athena の使用を開始するには、 aws.amazon.com/athena/ spark にアクセスしてください。

Amazon Glue Data Quality は、データの適時性、正確性、完全性を自動的に監視および管理します。何千ものお客様が Amazon Glue を使用して、最新のデータパイプラインを迅速かつ簡単に、コスト効率よく構築および管理しています。組織は、データ レイクとデータ パイプライン内の情報のデータ品質 (データの適時性、正確性、完全性を測定) を監視して、分析や機械学習アプリケーションに使用する前に、データが高品質であることを確認する必要があります。しかし、データ品質管理は時間のかかる複雑なプロセスであり、データ エンジニアはデータの詳細な統計情報を収集し、その統計に基づいてデータ品質ルールを手動で特定し、それを何千ものデータ セットとデータ パイプラインに適用するために何日も費やす必要があります。これらのルールが導入された後、データ エンジニアはデータのエラーや変更を継続的に監視し、それに応じてルールを調整する必要があります。 Amazon Glue Data Quality は、Amazon S3 データレイクと Amazon Glue データパイプラインのデータ品質を自動的に測定、監視、管理し、データ分析とルールの識別にかかる時間を数日から数時間に短縮します。 Amazon Glue Data Quality は、顧客データセットの統計 (最小値、最大値、ヒストグラム、相関関係など) を計算し、その統計を使用して、データの適時性、正確性、完全性を確保するためのルールを自動的に推奨します。お客様は、データの変更に応じて Amazon Glue Data Quality を定期的に実行するようにスケジュール設定し、データを自動的に分析して、関連性を確保するための品質ルールの変更を推奨することができます。データ エンジニアは、コードを記述せずに、ユーザー アラートを構成したり、品質の問題が発生した場合にデータ パイプラインを終了したりできます。 Amazon Glue Data Quality の詳細については、aws.amazon.com/glue/features/data-quality をご覧ください。

Amazon Redshift は、マルチ AZ デプロイメントをサポートするようになりました。何万もの Amazon Web Services の顧客が Amazon Redshift を使用して、毎日エクサバイト単位のデータを処理しています。これらの顧客のミッションクリティカルなワークロードをサポートするために、Amazon Redshift は、自動バックアップや、別のアベイラビリティーゾーンで数分でクラスターを起動する機能など、可用性と信頼性を高める多くの機能を提供します。現在、多くのデータベースでは、高可用性を確保するためにマスター/スレーブ レプリケーション モデルを使用しています。このモデルでは、単一のデータベースがオンライン トラフィックを処理し、緊急時にはスタンバイ コピーがオンライン バージョンからデータを複製します。これらの機能を基に、Amazon Redshift は、データ損失のリスクを最小限に抑えながら高速リカバリを可能にする新しい高可用性構成機能を提供するようになりました。 Amazon Redshift マルチ AZ 機能を使用すると、複数のアベイラビリティーゾーンにクラスターを展開し、すべてのリソースを使用して読み取りおよび書き込みクエリを処理し、使用率の低いスタンバイコピーをキャンセルし、コスト効率を最大化できます。お客様は、単一の Amazon Redshift データ ウェアハウスと同様に、単一のエンドポイントでマルチ AZ データ ウェアハウスを管理できるため、アプリケーションを変更することなくビジネスの継続性を維持できます。 Amazon Redshift Multi-AZ の詳細については、aws.amazon.com/redshift/reliability をご覧ください。

RiskCanvas は、Genpact が提供する SaaS (Software as a Service) 製品であり、金融​​犯罪コンプライアンス ソリューションです。最先端のビッグデータ、自動化、機械学習テクノロジーを使用して、顧客のコンプライアンスの確保、効率性の向上、自動化の実現を支援します。 「riskCanvasのエンティティセントリックモニタリング製品は、取引モニタリング、外部ソース、ウォッチリストスクリーニング、ネガティブなニュースを分析することでリスクを自動的に評価し、実際のリスクが事前定義されたしきい値を超えた場合にのみ高リスクの顧客に警告を発します。これにより、スパイク状で予測不可能なデータ負荷を伴うことが多い、大量で多様な分析処理を必要とするコンプライアンス要件を満たす作業負荷が大幅に軽減されます」と、riskCanvasのCTOであり、Genpactの金融犯罪テクノロジー担当副社長であるライアン・スコウセン氏は述べています。 「Amazon OpenSearch Serverless を使用できることを嬉しく思っています。ワークロードのデータ取り込みと分析処理のニーズに合わせて自動的にスケールし、需要が減るとスケールダウンしてコストを大幅に削減します。しかも、再設計やメンテナンスは必要ありません。」

金融取引業規制機構 (FINRA)は、一般の人々と取引を行う証券会社を規制する米国の機関であり、株式、債券、オプション取引の規制を担当しています。 「FINRA は Amazon Athena 上にアプリケーションを構築し、アナリストやビジネスパートナーが毎日更新されるテラバイト単位の金融取引データを安全に照会できるようにしました」とFINRA のシニアディレクター、Ratnakar Korem 氏は述べています。 「Amazon Athena for Apache Spark のリリースを大変嬉しく思っています。Amazon Athena を使用することで得られるスピードと使いやすさが、オンデマンドおよびバッチ分析にももたらされます。このサーバーレス機能により、FINRA はコンピューティング リソースを明示的に定義したり、Apache Spark のパフォーマンスを調整したりすることなく、ビッグ データの分析を実行できます。これは最終的に、規制ユーザーとデータ アナリストが変化する市場動向に迅速に対応し、時間とコストを節約するのに役立ちます。」

ユナイテッド航空は、米国および 6 大陸全土の大小さまざまな都市にまたがる広範な国内および国際路線網を運営しています。 「ユナイテッド航空では、顧客と従業員向けに何百ものデータおよび分析主導のツールを構築しており、データ品質の管理と維持は業務にとって非常に重要です」とユナイテッド航空のデータエンジニアリングディレクター、サラン・バパット氏は語った。 「Amazon Glue Data Quality を利用できることを嬉しく思っています。これにより、データ品質の問題を数分で自動的に特定、分析し、対処することができるため、情報に基づいたタイムリーで正確な意思決定を行うことができ、さまざまなデータの問題を手動で特定して修正するのにかかる時間を大幅に節約できます。」

ジョンソン・エンド・ジョンソンの子会社であるヤンセンファーマシューティカルズは、患者と医療業界の変化するニーズに重点を置いて医薬品の研究と製造を行っています。 「Janssen Pharmaceuticals は Amazon Redshift を使用して重要な洞察を明らかにし、データ サイエンティスト、データ スチュワード、ビジネス ユーザー、外部関係者が重要なビジネス上の意思決定を行えるように支援しています」と、ジョンソン・エンド・ジョンソンの Janssen Pharmaceuticals の情報技術ディレクターである Shyam Mohapatra 氏は述べています。 「Amazon Redshift のマルチ AZ 機能により、データ ウェアハウスが常に利用可能になり、重要なビジネス上の意思決定をタイムリーに行うことができます。」