大規模な広告配信システムでは、毎日数百億件もの配信ログが蓄積されています。そのようなログをただ溜めるだけでなく、使いやすい形に加工しておくことで、配信実績の集計や、配信精度向上のための機械学習など、様々な用途に利用しやすくなります。
マイクロアドでは、Treasure Data社が開発したワークフローエンジンであるDigdagを用いてデータの加工処理フローを実装し、安定稼働を実現しています。
運用においては手動での作業が発生することもある中、多くの人にとって保守・運用しやすいワークフローシステムを実現するための仕組みや工夫点をご紹介します。