【GCS】GCSフォルダ内の複数ファイルを一括ダウンロードする方法

はじめに

GCSは大量のデータを保管しておくのに適したツールですが、GUI操作ではGCS上のフォルダをまるごとダウンロードすることができません（2024/03/27現在）。

そのため今回はCLIを用いてファイルの一括ダウンロードを行う方法を模索しました。

Google Cloud CLIを用いたダウンロードの手順

①Google Cloud CLI のインストール

Google Cloud CLI インストーラをダウンロードします。

インストーラを起動し以下手順でインストールを進めていきます。

1. Nextを選択
2. I Agreeをクリック
3. ALL usersにチェックをしてNextを選択
4. Nextをクリック（インストールする場所を変更する場合は、フォルダーを変える）
5. Installを選択（インストールするコンポーネントを変更する場合はチェックを変える）
6. Nextをクリック
7. Finishを選択（初期設定gcloud initが自動で始まる）

②初期設定を行う

以下の手順に沿って初期設定を行います。

1. ログインするか尋ねられるため、「Y」を押す
2. GCS権限のあるアカウントでログイン
3. 「1」を入力しプロジェクトIDでのログインを選択

4. プロジェクトIDを入力

5. 「Y」を押し、数字を入力でリージョンを選ぶ

6. gsutil lsを実行
　以下のようにプロジェクト内のデータセットが表示されていれば、正しいプロジェクト内にアクセスができています。

③ダウンロード

指定プロジェクト内で以下コマンドを実行しダウンロードします。

gsutil -m cp -r "gs://your_dataset_name/object_name/folder_name"  "C:\\Users\\xxxx\\Desktop\\xxxx."

ダウンロードのコマンド

上記のコマンドをカスタマイズするときは

• gs://[データセット名]/[オブジェクト名]/[フォルダ名]　→　GCS内のアドレス
• C:\\Users\\xxxx\\Desktop\\xxxx 　→　所定のダウンロード場所

にそれぞれ変更してください。

GCS内のフォルダアドレス入手方法

取得したいフォルダのアドレスが分からないときは、下記の方法で入手できます。

1.GCS上でダウンロードしたいフォルダにチェックを入れる

2.ダウンロードボタンを押すと、以下のポップアップからアドレスをコピーできる

④実行結果

サンプルアドレスをそのまま実行すると指定先のフォルダ下に以下フォルダとファイルが作成されます。

test_folder
└ test_file1.csv
└ test_file2.csv

データ活用支援のお知らせ

この記事を書いた人

辻島そよ夏
（つじしま　そよか）

株式会社UNCOVER TRUTH
ビジネスデベロップメントグループ DX-Acceleratorチーム
2023年、UNCOVER TRUTHに中途入社し、百貨店等のデータ分析や分析環境構築を支援。
入社前はシステムエンジニア職。良く使うツールはBigQuery。