はじめに
Googleが提供しているGCPにはデータ分析や環境整備に欠かせないサービスが数多く存在しています。
その中でも、今回はBigQueryからGCSへのデータエクスポートで躓いた内容について共有します。
この記事が解決できること
- BigQueryからGCSへ1GB以上のデータをエクスポートする方法がわかる
- データの分割方法がわかる
BigQueryのデータを分割してGCSに格納する
ファイルの命名方法
GCS格納時のファイル名を指定する際には「ファイル名_*」などのようにワイルドカードを使用します。
これにより、GCS内で自動的に分割されて格納される仕様になっています。
ファイル名_000000000000
ファイル名_000000000001
ファイル名_000000000002
....
※上記のようなファイル名が自動的に割り振られ、格納されます
エクスポートの際の注意点
設定自体はシンプルですが、下記のように作業者の手元でコントロールできないこともあります。
- エクスポートされるファイルのサイズは一定ではない
- エクスポートされるファイルの数は指定できない
より詳細について知りたい方は、公式リファレンスも参考にしてください。
データセットのリージョンに関する注意点
- BigQueryのテーブルが配置されているデータセットのリージョンが US の場合、格納先のGCSバケットのリージョンはどこでもOK
- データセットのリージョンが US以外 の場合、格納先のGCSバケットのリージョンはBigQueryとそろえる必要がある
まとめ
エクスポート方法自体はそこまで複雑ではないので、初めてGCSへのエクスポートをする人でも簡単に設定ができると思います。
データセットのリージョンについては今回の調査で初めて知ることができたため、今後設定が発生する場合には気を付けていきます。
データ活用でお困りの方へ
私たちDX-Accelerator事業では、データ活用についての様々なスキルを持った人材が常駐でデータ活用支援を行うサービスを提供しています。
当事業はローンチから約3年（24年9月時点）ですが、これまでに様々な業界・業種のお客さまのお手伝いをさせていただいております。
少しでも興味を持ってくださったり、すでにご相談をしたいことがある方はお気軽にご相談ください。現在あなたの組織のフェーズがどこにあるかは関係ありません。まずはお話をしましょう。
もう少しサービスについて知りたい方はサービス紹介資料もご用意しています。
お役立ち資料をご活用ください！
データプロフェッショナルであるDXAメンバーが、業務経験をもとにお役立ち資料を作成しています！
おすすめ3選はこちら！
１．GA4 サンプルレポート｜Looker Studio 無料プレゼント
GA4の基本KPIが網羅されたテンプレートです！データを差し替えればすぐにご活用いただけます。
２．サンプル経営ダッシュボード | Tableau無料プレゼント
実際にご提供しているダッシュボードをテンプレート化したものです！是非構成やグラフ選択の参考にしてください。
３．データ活用の部長さん必見！データ活用 内製化の正しい進め方
これまでご支援してきた実績をもとに、データ活用の内製化の進め方を解説しています！組織のDXを担われている方、必読です！
以上、おすすめ3選でした！
すべて無料でダウンロードできますので、お気軽にご利用ください。
