クラウドデータウェアハウスのレースが熱くなる

Amazon Web Servicesが2012年の11月にRedshiftサービスを開始したとき、クラウド内でデータウェアハウスを稼働させるという考えは、まったく新しいものでした。ほとんどのオンプレミスデータウェアハウス(DW)プラットフォームはアプライアンスベースであり、結果的に成長の余地を残す必要があるため、取得するのに費用がかかります。しかし、雲の中では、経済性はより良く、弾力性は現実的であり、物流は合理化されています。 Redshiftが使用する使い慣れたSQL /リレーショナル・モデルを使用して「大規模データ」ボリュームを処理する機能と組み合わせることで、サービス開始はAmazonの発売以来最速の成長の1つになったことはほとんどありません。

アマゾンは本質的にこの時間全体にわたってクラウドのDWスペースを持っていたが、今週は大きく変わった。 1人の新しい競争相手であるSnowflake Computingが火曜日に、クラウドDWサービスを利用して一般利用可能になりました。これは、$ 45MのシリーズCの資金調達ラウンドで終了しました。 Amazonのクラウドコンピューティングでは、Azure SQL Data Warehouseサービスの公開は限定されているが公開されている。

共通点:ブロック上にいる2人の新しい子供には、共通のものが2つあります。ある意味では、Azure SQL DWはSQL Serverテクノロジに基づいており、SnowflakeのCEOであるBob MugliaはMicrosoftのServer and Tools Business(現在はCloud and Enterprise Division)を運用していたため、両者ともMicrosoft SQL Serverの血統を持ちます。 SQL Serverの組織が低下します。

2人の挑戦者はアーキテクチャ上のアプローチも共通しており、Redshiftは共有していないものです。言い換えれば、RedshiftはDWクラスタにノードを追加することができますが、それぞれが処理能力とストレージ容量を増やし、Azure SQL DWとSnowflakeは処理能力やストレージスペースを別々に追加することができます。

ビッグデータ分析、Big Data Analytics、DataRobotはデータサイエンスの欠点を自動化することを目指している、Big Data Analytics、MapR創設者のJohn Schroederが辞任し、交換するCOO

Azure DWの場合、そのストレージはAzure Blobストレージから提供されます(Amazon S3の概念と同様です)。 DWのデータをAzure Blobsに保存すると、データを損なうことなく計算ノードをシャットダウンし、後で再開することができます。計算ノードの追加や削除に伴ってストレージを再調整する必要がないため、処理能力を大幅に向上または縮小できます。

Redshiftの記憶域と計算を同じノードでつなぎ合わせることは、恣意的で賢明に見えるかもしれませんが、このアプローチがより良いパフォーマンスを提供できることを認識することが重要です。クラウドストレージは経済的ですが、ノードの基になっている物理サーバーにインストールできるディスクリートドライブストレージに比べて、比較的低速です。私が話してくれたほとんどのレッドシフト顧客は、彼らがサービスから驚異的なパフォーマンスを得ると私に言ってきました。マイクロソフトとSnowflakeの顧客が同じように言うのを待つ必要があります。

非構造化(データ)再生; Snowflakeは、DWの一時停止と再開のオプションを提供していないようですが、それにもかかわらずコンピューティングとストレージの規模を別々に調整します。また、SnowflakeのWebサイトによれば、そのサービスは従来のリレーショナル・データと並んで、「ネイティブ形式の半構造化データをロードして格納する」(AvroおよびJSON形式のデータを含む)と、2つを並行して処理できます。

Azure SQL DWは、以前はSQL Server Parallel Data Warehouseとして知られていたMicrosoftの社内アナリティクスプラットフォームシステム(APS)と同じテクノロジに基づいています。この製品は、SQL Serverの大規模並列処理(MPP)バージョンです。 Microsoftのリレーショナルデータベース管理システムの次のバージョンであるSQL Server 2016にはJSONデータのネイティブサポートがあるため、Azure SQL DWも同様のサポートを受ける可能性が高いです。

ホームフィールドの利点; Redshiftのユニークな利点の1つは、Amazon S3、DynamoDB NoSQLサービスおよびElastic MapReduce(EMR)Hadoopサービスとの統合を提供することです。しかし、SnowflakeのサービスはAmazon Web Servicesのクラウ​​ド上で動作します。つまり、S3、DynamoDB、EMRデータをSnowflakeに移行すると、Redshiftほどシームレスに統合されていなくても、待ち時間は比較的短くなります。多くの企業がAWSクラウドにデータを格納するため、これはSnowflakeのメリットです。

つまり、Azureのクラウドは、特にエンタープライズアカウントの中で、非常に急速に勢いを増しています。 BLOBストレージに加えて、Azureは独自のNoSQLサービス(Key-Valueストレージ用のAzureテーブルストレージ、JSONドキュメントストレージ用DocumentDB)とHadoopサービス(HDInsight)を提供しています。これらのサービスを利用している顧客は、Azure SQL DWが競合他社よりも魅力的かもしれません。

Quo vadis?;クラウドデータウェアハウス市場はどこに行くのですか。私は、ペタバイト規模のSQL /リレーショナルベースのサービスは、使い慣れたテクノロジとハイパースケールのバランスの取れた組み合わせを提供していると思われます。弾力性の欠如は、オンデマンドDWプラットフォームに対する最大のストライキであり、クラウドにそれらをもたらすが、それをすべて除去する。

これは現在、見る場所です。

LinkedInが新しいブログプラットフォームを発表

これはBig OLAPの時代ですか?

DataRobotは、データサイエンスの果実を自動化することを目指しています

MapRの創設者John Schroederが辞任し、COOが辞任