Datadog Logsで2xxでもログが欠ける理由：1 MBと5 MBの制限

1 MBを超えるログは、2xxでも切り詰められる

DatadogのSend Logs APIでは、ログ1件の最大サイズは1 MBです。これを超えるログは受理されても切り詰められ、2xx応答が返ることがあります。そのため、2xxだけを根拠に元のログ全体が保存されたと判断することはできません。

大きなログの末尾や必要な情報が欠けている場合は、送信の成否だけでなく、そのログ自体が1 MBを超えていなかったかを確認してください。

リクエスト全体は非圧縮で5 MBまで

HTTPリクエストのペイロード全体の最大サイズは、非圧縮で5 MBです。複数のログをまとめて送る場合は、ログ1件ごとの1 MB制限に加え、送信するペイロード全体もこの上限内に収める必要があります。

圧縮して送る場合も、圧縮後の転送サイズだけで5 MB以内と判定してはいけません。ここでの全体上限は非圧縮サイズに対するものであり、送信時の圧縮によってログ1件の1 MB制限を回避できるわけでもありません。

ログ単体を見直し、送信後は必要な内容が残っているか確認する

送信予定のペイロードを非圧縮の状態で測り、全体が5 MB以内か、各ログが1 MB以内かを確認します。全体だけが大きい場合は送信単位を分け、1件のログ自体が大きい場合は、そのログの内容や分割方法を見直してください。

重要なイベントでは、必要な情報を保ちながらログを分割できるか、出力元で不要な内容を減らせるかを検討します。転送時の圧縮を使う場合も、非圧縮の全体サイズとログ単体のサイズ確認は残してください。

変更後は2xx応答の確認に加え、Datadogで必要なログ内容が取得できるかを確かめます。応答コードと内容の確認を分けることで、受理されたものの切り詰められたログを見落とさないようにしてください。