BigQuery loadの4 GB・5 TB・15 TB上限：fileとjobを混同しない

compressed fileは4 GB、uncompressed fileは5 TB

BigQueryではcompressed CSVとcompressed newline-delimited JSON（ndJSON）は1ファイル4 GBまでです。uncompressed CSV/ndJSONは1ファイル5 TBまでです。圧縮の有無でsingle-file ceilingが大きく変わるため、15 TBというjob/run側の数字だけでは投入可否を判断できません。

CSVのcellとrow、ndJSONのrowには100 MBの条件があります。さらにapplicableなloadまたはtransfer pathには15 TB/runや最大10,000,000 filesなどの別gateがあります。15 TBをsingle-file maximumとして扱わないでください。

15 TBとfile countは経路を限定して読む

15 TB/runや最大10,000,000 filesの条件は、適用対象のtransfer/load pathを確認して使う値です。すべてのBigQuery loadに無条件で同じ意味の上限として広げず、実行するjob type、source、format、compressionを特定してください。

4 GBと5 TBはCSV/ndJSONのsingle-file条件、100 MBはrowまたはcellの条件です。job totalが余っていても、ひとつのfile、row、cellのgateを超えればそのままではloadできません。

formatとcompressionを確認し、4 GB以下へ分割する

まずsourceがCSVかndJSONか、圧縮済みかを確認します。compressed fileは1つ4 GB以下へ分割し、uncompressedなら1つ5 TB以下かを確認してください。次にrow/cellが100 MB以内かを調べ、最後に実行するload/transfer pathのjob total、file count、15 TB/runの適用条件を確認してからjobを開始します。