Cloudera と Hortonworks が合併を発表: Hadoop にとって大きな打撃!

最近、ビッグデータ分野の2つの巨大企業であるClouderaとHortonworksが対等合併を発表しました。 Cloudera は Hortonworks を株式の形で買収し、Cloudera の株主は最終的に合併後の会社の株式の 60% を取得しました。この取引は、Hadoop 市場が 2 大競合企業間の対立を維持できなくなることを意味します。

Hadoop の世界で最も大きく、最も有名な企業は Cloudera です。 Cloudera は、データ処理フレームワークを本格的な「エンタープライズ データ センター」に拡張しながら、オープン ソース Hadoop のサポートを提供することに取り組んでいます。 Hortonworks は、エンタープライズ クラスのグローバル データ管理プラットフォームであり、サービスとソリューションの大手プロバイダーでもあり、上位 100 社の半数以上に「あらゆる種類のデータ」から実用的な洞察を提供しています。 2 大データ サービス プロバイダーである Cloudera と Hortonworks は合併を発表し、世界をリードするデータ プラットフォームを構築する意向を表明しました。

この取引の要点:

1. 世界をリードするデータプラットフォームを構築し、規模とリソースを増強し、業界初のエンタープライズグレードのデータクラウドを提供し、パブリッククラウドの使いやすさと柔軟性を向上させます。

2. 明確な業界標準を確立する。

3. IoT、ストリーミングメディア、データウェアハウス、ハイブリッドクラウド、機械学習、人工知能などの分野で市場開発を加速し、イノベーションを促進します。

4. Hortonworks DataFlowやCloudera Data Science Workbenchなどの補完的な製品で市場機会を拡大

5. パブリッククラウドベンダーやシステムインテグレーターとのパートナーシップを強化する

6. 大きな経済的利益を生み出し、利益率を向上させることが期待されます。

収益は約7億2000万ドル

2,500社以上の顧客

800 社以上のクライアントが ARR 10 万ドル以上

ARRが100万ドルを超える顧客が120社以上

年間1億2,500万ドル以上のコスト削減効果

2020年のキャッシュフローは1億5000万ドルを超える

現金5億ドル以上、負債なし

アドバイザー、経営陣、取締役会の発展

取引完了後、Cloudera CEO の Tom Reilly が CEO に就任します。 Hortonworks の COO である Scott Davidson が COO として就任します。 Hortonworks の最高製品責任者である Arun C. Murthy が合併後の会社の最高製品責任者に就任します。 Cloudera の CFO である Jim Frankola 氏が合併後の会社の CFO に就任します。 HortonworksのCEOであるRob Bearden氏が取締役会に加わる予定。現在の Cloudera 取締役である Marty Cole が取締役会長に就任します。

新設会社の取締役会は当初9名の取締役で構成される予定。ベアデン氏を含む4人の取締役は、ホートンワークスの既存の取締役会から選出される予定。ライリー氏を含む 5 人の取締役は、Cloudera の既存の取締役会から選出されます。統合理事会は10人目の理事を選出する。

Morgan Stanley & Co. LLC が Cloudera の財務顧問を務め、Fenwick & West.LLP が法律顧問を務めました。 Qatalyst Partners が Hortonworks の財務顧問を務め、Latham & Watkins, LLP が法律顧問を務めました。

Hadoop は長年ビッグデータの代名詞となってきましたが、市場と顧客の需要は変化しています。両社の合併は間違いなく Hadoop にとって大きな打撃となるだろう。いくつかの大きなトレンドの影響で、Hadoop の影響力は徐々に減少しています。

パブリッククラウドの波が高まっている

最初の大きなトレンドは、企業のパブリック クラウドへの移行です。あらゆる規模の企業が、オンプレミスのインフラストラクチャとソフトウェアを犠牲にして、AWS、Azure、Google Cloud サービスの導入を増やしています。 IDC と Gartner のレポートによると、エンタープライズ サーバーの収益は前期比で減少しています。上位 3 つのクラウド プロバイダー (クラウド市場シェアの 90% を占める) は、Amazon の Elastic Map Reduce (EMR) など、独自のマネージド Hadoop/Spark サービスを提供しています。これらは完全に統合された製品であり、所有コストが低く、安価です。企業がクラウド コンピューティングに移行する場合、時間と労力を節約できる Hadoop 製品が組み込まれたクラウド プラットフォームを選択するのはほぼ自然な判断です。そして皮肉なことに、Cloudera はクラウド時代に参入せず、Hadoop で明らかな優位性を持っていた同社はこのチャンスをつかむことができませんでした。

保管コストの削減

2番目の大きなトレンドは？クラウド ストレージの経済性により、Hadoop ストレージのコストが圧倒的に削減されています。 2005 年に導入された Hadoop 分散ファイル システム (HDFS) は、サーバーと通常のハード ドライブを組み合わせ、並列 IO を備えた Java アプリケーションで使用できる分散ストレージ システムに変えた革新的な改良でした。当時、このようなものはありませんでしたが、これは 1 台のマシンに収まらない大規模なデータセットの並列処理を可能にする重要なコンポーネントでした。しかし、それは 13 年前のことで、今日では AWS S3、Azure Blob Storage、Google Cloud Storage などのオブジェクト ストレージ サービスを中心に、はるかに安価な代替手段が数多く存在します。 1 テラバイトのクラウド オブジェクト ストレージのコストは月額約 20 ドルですが、HDFS のコストは月額約 100 ドルです (運用コストは除く)。たとえば、Google の HDFS サービスは、HDFS 操作をオブジェクト ストレージ操作に変換するだけですが、コストは 5 倍安くなります。

より高速、より優れ、より安価なクラウドデータベース

Hadoop の問題はそれだけでは終わりません。クラウド ベンダーの Hadoop/Spark サービスだけでなく、オブジェクト ストレージ サービスとの直接的な競争にも直面しているからです。 3 番目の大きなトレンドは「サーバーレス」であり、これにより Hadoop や Spark を実行する必要性が完全になくなります。 Spark の一般的な使用例は、ユーザー向けのアドホック分散 SQL クエリを処理することです。 Google は、2011 年に BigQuery という革新的なサービスを立ち上げ、まったく異なる方法で同じ問題を解決した最初の企業です。このサービスでは、オブジェクト ストレージ サービスに保存されている任意の量のデータに対してアドホック クエリを実行できます (HDFS などの特別なストレージに読み込む必要はありません)。ユーザーはコンピューティング時間に対してのみ料金を支払います。1,000 コアが必要な場合、クエリの実行には 3.5 秒しかかからず、支払うのはそれだけです。企業は、サーバーのプロビジョニング、オペレーティング システムのインストール、ソフトウェアのインストール、クラスターを 1,000 ノードに拡張するためのすべての構成、Hadoop/Spark のようなクラスターのプロビジョニングと管理を行う必要はありません。 Google が面倒な作業をすべて行うため、「サーバーレス」という名前が付けられています。一部の銀行では、数十人の IT スタッフが運用および保守する 2,000 ノードの Hadoop/Spark クラスターを実行していますが、これは BigQuery の柔軟性、速度、規模に匹敵するものではなく、Hadoop を実行および保守するためのすべてのハードウェア、ソフトウェア、および人件費も支払う必要があります。

BigQuery がその一例です。その他のクラウド データベース サービスも、大規模、高い柔軟性、グローバルな分散という特徴を備えています。 Snowflake、Google Big Table、AWS Aurora、Microsoft Cosmos などのスタートアップは、Hadoop/Spark をインストールするよりも使いやすいサービスを提供しています。ユーザーは 5 分で稼働を開始でき、プロセス全体のコストはわずか数十ドルで済みます。50 万ドルの発注書や、数週間のインストール、構成、トレーニングは必要ありません。

コンテナ、Kubernetes、機械学習

4 番目のトレンドはコンテナと Kubernetes です。 Hadoop/Spark は単なるストレージ環境ではなく、コンピューティング環境でもあります。同様に、2005 年には Hadoop のもう 1 つの革新的な製品である MapReduce が誕生しました。 Map-Reduce メソッドは、Java アプリケーションの並列コンピューティングのためのフレームワークを提供します。しかし、Cloudera と Hortonworks インフラストラクチャ (Scala 中心の Spark を使用) の Java 中心の性質は、今日のデータ サイエンティストが Python と R で機械学習を行う方法とは相容れません。企業は機械学習モデルを継続的に反復して改善し、実稼働データを学習させる必要があります。つまり、機械学習機能を活用したい場合は、ローカル展開に Python と R モデルが必要です。

コンテナと Kubernetes は、Python や R と同様に、分散コンピューティングのためのより柔軟で強力なフレームワークを提供します。いずれにせよ、これらは Hadoop/Spark が複雑すぎて制限が多いため、新しいマイクロサービス アプリケーションを Hadoop/Spark 上に配布することを計画していないソフトウェア開発チームの目標です。

Cloudera と Hortonworks がビッグデータの世界の中心になるまでにはほぼ 10 年かかりましたが、現在ではその重心は別の場所に移っています。大手クラウドコンピューティング企業は、ClouderaやHortonworksのような大規模なHadoop/Sparkクラスターを実行せず、コンテナなどの上で分散クラウドデータベースやアプリケーションを実行することを好みます。機械学習にはPython、R、その他のJava以外の言語を使用します。スピードと規模という同じメリットを得るために、同様のアプローチを採用する企業が増えています。

著者

Mathew Lodge は、Anaconda の製品およびマーケティング担当上級副社長です。彼はクラウド コンピューティングと製品に関して 20 年以上の豊富な経験を持っています。 Anaconda の前は、コンテナおよびマイクロサービスのネットワーキングと管理のスタートアップ企業である Weaveworks の COO を務めていました。彼は VMware のクラウド サービス部門の副社長であり、VMware の vCloud Air IaaS サービスの共同創設者でもあります。