Managed Service for Apache AirflowのDAG同期が重いとき

30 MBは推奨、100 MBは超過を避ける境界

現行の製品ガイダンスは、/dagsと/pluginsの合計を30 MB未満に保つことを推奨し、100 MBは絶対に超えないよう示しています。30 MBを一律のhard upload limitとして扱わず、100 MBもCloud Storageオブジェクトの容量上限と取り違えないでください。

同期とローカルディスクへの影響

/dagsや/pluginsに大きなデータを置くと、同期が遅れたり初期化が妨げられたりし、schedulerやworkerなどのローカルディスクを圧迫するおそれがあります。これはCloud Storageに単一オブジェクトを保存できるかとは違う、運用上の条件です。

data/もコンポーネントごとに同期先や扱いが異なります。移動先として一律に勧めず、どのAirflowコンポーネントがそのデータを必要とするか確認してください。

同期対象を減らす手順

/dagsと/pluginsの合計サイズを確認し、30 MB未満の推奨に近づけます。大きなdataやbuild artifactsは同期が必要なフォルダーから外すことを検討し、移す前にdata/を含む同期先と必要なコンポーネントを確認します。100 MBを超えたまま運用しないでください。