データの収集から分析まで多様なコンポーネントが連携するデータ基盤では、パフォーマンス低下や障害の兆候をいち早く検知し、根本原因の把握と対処を行うための「オブザーバビリティ(可観測性)」の取り組みが重要になる。下層に行くほど問題の存在が見えづらい上、下層で発生した問題は上層に連鎖し、最終的な分析処理に影響を及ぼすだけに、全体像の把握は不可欠なポイントだ。
そこで本資料では、代表的なSaaS型データ基盤であるSnowflakeを取り上げ、モニタリングすべきポイントを紹介している。ポイントの1つは、ウェアハウスとストレージの監視だ。同基盤は基本的にウェアハウス使用料とストレージ使用料で構成されるので、これらの負荷を監視することでコスト最適化が容易になる。例えば、クレジット数が急増している場合は、クエリのスループットの変化を詳しく見るとよいだろう。
他にも、ログイン失敗やクエリ実行エラーなどから設定ミスやセキュリティ脅威を特定する実践的な監視手法も解説。本資料では、このようなアプローチの実践をサポートする、監視・可観測性プラットフォームも紹介しているので参考にしてほしい。