Buildkiteのartifact upload上限をファイルとjobで分ける

既定の制限は複数ある

Buildkite-managedの既定quotaでは、artifactは1ファイル10 GiB、1 jobのartifact upload累計は50 GiBです。さらに1 job当たり5,000 artifacts、multipart uploadの1 batch当たり30 artifactsという件数上限があります。小さなファイルでも、job合計または件数が先に上限へ達する場合があります。

組織quotaと保存先の違い

組織のService Quotasは既定値から変更されている場合があります。まずその組織に適用される値を確認してください。自前のS3、GCS、Azure Blobへ保存する経路はBuildkite-managed storageとは別です。管理対象ストレージの条件を自前の保存先へそのまま当てはめないでください。

artifactの正確な保持期間は、ここでの容量判断に含めません。必要な場合は利用中のplanと保存先の条件を別途確認します。

どの値で止まったか測る

個々のartifact size、job内のアップロード総量、artifact数を確認します。既定quotaを超えるなら不要なartifactの削減やjob・batchの分割を検討し、組織quotaも確認してください。保存要件に応じて自前のS3、GCS、Azure Blobを使う場合は、その保存先の条件を別に確認します。