Databricksの大きなファイルはWorkspaceとVolumeのどちらへ？

Workspace filesとVolumeの画面には別の上限がある

Workspace fileのサイズは500 MBまでです。Unity Catalog VolumeへDatabricksの画面からアップロードする場合は、1ファイル5 GBまでです。この5 GBは画面経路の制限で、Volume内のファイル全体に共通する容量上限ではありません。

Files APIの5 GiBは画面の5 GBと別の経路

Unity Catalog Volumeのファイルを直接送るFiles APIのPUT /api/2.0/fs/filesは、raw byteのリクエスト本文で最大5 GiBをアップロードできるPublic Previewの経路です。画面アップロードの5 GBとは単位も操作も異なります。5 GBを超えるファイルにはDatabricksが案内するPython SDKの経路を確認し、基盤のcloud storageが扱えるサイズにも従ってください。

Workspace filesはnotebookやcodeなどに、Volumesはdata、libraries、build artifactsなどに向いています。Workspace配下のファイルへのアクセス権は、interactive computeでは36時間、jobsでは30日で期限を迎えるため、長時間の処理ではその条件も確認します。

用途とアップロード経路を順に選ぶ

ファイルの用途とサイズを測り、notebookやcodeならWorkspace files、dataやlibrary・build artifactならVolumeを検討します。Volumeへ画面から送るファイルが5 GBを超える場合は、画面操作を繰り返す前にサポートされたPython SDKの経路と必要なVolume権限を確認してください。Files APIを使う場合は、そのPUT経路の5 GiB条件を画面上限と取り違えないでください。