Bigtableのサイズ制限：セル・行の推奨値と変更操作の上限を区別する

推奨はセル値10 MB、行の値の合計100 MB

Bigtableが推奨するサイズは、セル値が10 MB、行に含まれる値の合計が100 MBです。これらを超えた場合はスキーマを見直す目安になりますが、推奨値を超えたこととサービスの最大サイズを超えたことは同じではありません。

たとえば、行の値の合計が100 MBを超えたという情報だけでは、行のサービス上限を超えたとは判断できません。推奨から外れた構造の見直しと、最大サイズに対する判定を分けて進めてください。

セル・行・単一mutation・行キーには別々の最大値がある

サービス上限は対象ごとに異なります。セルが収まっていても行全体や単一mutationが収まるとは限らないため、書き込む値だけでなく、それをまとめた行と変更操作も確認します。

Bigtableのこの制限表では、KBとMBは2進単位として定義されています。表記を一般的な10進単位のKB・MBとして扱わず、測定する側の単位をそろえて比較してください。

推奨超過はスキーマを見直し、最大値超過は該当する構造を分割する

対象データのセル値、行に含まれる値の合計、行全体、単一mutation、行キーのサイズを確認します。推奨値を超えている対象と、サービス上限を超えている対象を分けて記録してください。

推奨値を超えている場合は、セルや行にまとめるデータの範囲を見直します。サービス上限を超えている場合は、そのままの構造では条件を満たさないため、大きすぎるセルや行を分ける、mutationを分ける、行キーを小さくするなど、超過した対象を縮小する変更が必要です。

mutationだけを分けても、セルや行そのものが大きすぎる問題は残ります。変更後は一つの数値だけで済ませず、各対象を同じ単位で測り直し、それぞれの上限内か確認してください。