CertPass

Question 16

あなたは、Cloud Storage から BigQuery に小さなCSVファイルをロードするためのデータ取り込みパイプラインを開発しています。データの遅延を最小限に抑えるために、これらのファイルが到着次第ロードしたいと考えています。これを最小限のコストとメンテナンスで実現したいと考えています。どうすればよいでしょうか？

Cloud Shell インスタンス内で bq コマンドラインツールを使用して、データを BigQuery にロードします。

Cloud Storage から BigQuery に新しいファイルをロードする Cloud Composer パイプラインを作成し、10分ごとに実行するようにスケジュールします。

Cloud Storage にデータが到着したときにトリガーされ、データを BigQuery にロードする Cloud Run 関数を作成します。

Cloud Storage から CSV ファイルを取得し、Spark を使用して処理し、結果を BigQuery に書き込む Dataproc クラスタを作成します。

Question 17

あなたの組織では、ペタバイト規模のアプリケーションログがParquetファイルとしてCloud Storageに保存されています。これらのファイルに対して迅速に一度限りのSQLベースの分析を実行し、既にBigQueryに存在するデータと結合する必要があります。どうすればよいですか？

Dataprocクラスタを作成し、BigQueryのデータとCloud Storageのファイルを結合するPySparkジョブを作成する。

Cloud Data Fusion環境を起動し、プラグインを使用してBigQueryとCloud Storageに接続し、SQL結合操作を使用してデータを分析する。

Cloud Storageのファイルに対して外部テーブルを作成し、BigQueryのテーブルとSQL結合を実行してデータを分析する。

bq loadコマンドを使用してParquetファイルをBigQueryにロードし、SQL結合を実行してデータを分析する。

問題18

あなたのチームは、Cloud Storage内のファイル、Apache Sparkジョブ、BigQuery内のデータから構成される、複雑なタスクと依存関係の集合を含む複数のデータパイプラインを構築しています。これらのタスクと依存関係を、スケジュールに従って特定の順序で実行したいと考えています。これらのデータ処理タスクをスケジュールし、自動化できるシステムを、フルマネージドなアプローチを用いて設計する必要があります。どうすべきですか？

Cloud Schedulerを使用してジョブの実行をスケジュールする。

Cloud Tasksを使用してジョブを非同期にスケジュールし、実行する。

Cloud Composerで有向非巡回グラフ（DAG）を作成する。適切なオペレーターを使用してCloud Storage、Spark、BigQueryに接続する。

Google Kubernetes EngineにデプロイされたApache Airflowで有向非巡回グラフ（DAG）を作成する。適切なオペレーターを使用してCloud Storage、Spark、BigQueryに接続する。

Question 19

あなたは研究会社のCloud Storageバケットの管理を担当しています。あなたの会社には、明確に定義されたデータ階層化と保持ルールがあります。データ保持のニーズを達成しつつ、ストレージコストを最適化する必要があります。どうすればよいですか？

バケットがArchiveストレージクラスを使用するように設定する。

各バケットにライフサイクル管理ポリシーを設定し、オブジェクトの経過期間に基づいてストレージクラスをダウングレードし、オブジェクトを削除する。

バケットがStandardストレージクラスを使用し、オブジェクトのバージョニングを有効にするように設定する。

バケットがAutoclass機能を使用するように設定する。

Question 20

あなたは、組織のリーダーシップチームにBigQueryの機能を示すために、独自のデータを使用しています。ローカルマシンに保存されているファイルを、できるだけ手間をかけずにBigQueryに一度だけロードする必要があります。どうすればよいですか？

BigQuery Storage Write APIライブラリを使用してPythonスクリプトを作成し、実行する。

Dataprocクラスタを作成し、ファイルをCloud Storageにコピーし、spark-bigquery-connectorを使用してApache Sparkジョブを作成する。

ローカルマシンで `bq load` コマンドを実行する。

ローカルランナーを使用して、Apache Beam FileIOおよびBigQueryIOコネクタを使用してDataflowジョブを作成する。

Associate Data Practitioner