ベータ版の機能は、ネットワークによってはご利用になれない場合があります。この機能の一般公開の時期については、リリースノートをご覧ください。
概要
Data Transfer レポート ファイルの使用には追加料金がかかります。この機能を有効にするには、アカウント マネージャーに連絡してください。この機能を有効にしたら、Data Transfer のファイル形式を設定できます。Google アド マネージャーでは、CSV と Parquet の 2 つのデータ転送オプションが用意されています。
抽出、変換、読み込み（ETL）プロセスの管理、大容量ファイルのサポート、テキスト ファイルの操作、中規模データストアの設計と管理、スクリプトの設計と実装をお客様の組織内で行うことができない場合は、Google マーケティング プラットフォーム パートナーに��託されることをおすすめします。
使用可能な Data Transfer レポート ファイル
各 Data Transfer ファイルには、さまざまなイベントに関する情報が含まれています。ファイルタイプごとにフィールドを追加して、それらのイベントに関連するコンテキスト情報を確認することができます。
Backfill ファイルがある場合、ダイナミック アロケーションを使って Ad Exchange や AdSense から配信されたインプレッションは Network ファイルに含まれません。ダイナミック アロケーションを使用したインプレッションに関する情報は、Backfill ファイルで確認できます。Data Transfer ファイルに含まれるデータについて
- データの遅延
2～3 時間の遅れであれば正常です。ただし、Data Transfer ファイルの処理に通常より時間がかかることがあります。データが遅れた場合、そのデータは正確なタイムスタンプが付けられた状態で次の時間のファイルに含められます。たとえば、主に午前 8 時～午前 9 時のタイムスタンプのデータが含まれるファイルに、8 時より前のタイムスタンプのデータが一部含まれることがあります。 -
アクティビティのない時間帯
アクティビティのない時間については、ヘッダーデータのみを含む空の Data Transfer ファイルが配信されます。 - 日付と曜日が切り替わる時間
通常、1 日の最初の時間別ファイルには太平洋標準時間で午前 0 時～午前 1 時のイベントが含まれますが、イベントのタイムスタンプはパブリッシャーのネットワークのタイムゾーンが基準となります。たとえば、パブリッシャーが米国東部時間に設定している場合、最初の時間別ファイルには午前 3 時～午前 4 時のイベントが含まれます。午前 3 時より前の 3 時間分のデータは前日のファイルに含まれます。このように、タイムスタンプとファイル名の日付はずれることがあります。ファイルの配信時間やファイル名ではなく、ファイル内のイベントのタイムスタンプを必ず確認するようにしてください。 - Data Transfer 機能によるマスター / コンパニオンのレポート
Data Transfer ファイルには、マスターとコンパニオンのクリエイティブのインプレッションが両方含まれます。一方、クエリツールでは、それぞれのクリエイティブではなく、マスターとコンパニオンのクリエイティブ セットが配信された場合にインプレッションが 1 回カウントされます（マスターとクリエイティブで情報を分割する場合は除きます）。
コンパニオン クリエイティブのインプレッションの場合、IsCompanion が「TRUE」となります。CreativeId フィールドには、マスター / コンパニオン クリエイティブのクリエイティブ セット ID ではなく個々のクリエイティブ ID が含まれます。Data Transfer ファイルには、コンパニオンのインプレッションをマスターのインプレッションに関連付けるためのクリエイティブ セット ID 用の追加フィールドはありません。 - アド マネージャーのレポートとの差異
アド マネージャーのレポートや API で生成されるレポートでは、不正なトラフィック（スパムデータ）が定期的に削除されます。ただし、Data Transfer ファイルの発行スケジュールによっては、こうした削除が一部反映されないことがあります。その結果、Data Transfer ではインプレッション数、クリック数、その他のイベント数がわずかに多くなる可能性があります。差異がある場合、その度合いは通常 1% 以下です。CodeServesData Transfer ファイルでは、アド マネージャーのレポートの「コード配信数」指標より高い値が表示されることがあります。これは、Data Transfer では配信されたインプレッションごとにコード配信が 1 回カウントされるのに対し、レポートではリクエストごとにコード配信が 1 回カウントされるためです。Google 広告のテキスト広告などの一部のクリエイティブ フォーマットでは、1 回のリクエストに複数のインプレッションが含まれることがあります。KeyPartフィールドの値別にデータ転送ファイルをグループ化し、ユニーク インプレッション数を比較できます。
CSV 出力形式と Parquet 出力形式のメリットとデメリット
| CSV（カンマ区切り値） | Parquet（カラム型ストレージ） | |
|---|---|---|
| 読み取りとアクセス | 人間が読みやすい形式で、基本的なテキスト エディタやスプレッドシート ソフトウェアで簡単に開いて編集できます。 | 表示と編集に専用のツールが必要で、技術系以外のユーザーが簡単にアクセスすることはできません。 |
| 汎用性と互換性 | ほぼすべてのデータ分析ツールと処理ツールで広くサポートされています。 | 特に古いシステムでは、完全な互換性を確保するために追加のライブラリやソフトウェアが必要になる場合があります。 |
| シンプルさと使いやすさ | シンプルな構造で、理解しやすく扱いやすい形式です。特に小規模なデータセットや簡単なアドホック分析に向いています。 | 特にカラム型ストレージに慣れていないユーザーの場合、最初は実装が複雑になる可能性があります。 |
| パフォーマンスと効率 | 行ベースのストレージで圧縮がないため、大規模なデータセットでは速度が低下する可能性があります。 | カラム型ストレージと効率的な圧縮技術により、大規模なデータ処理と分析で優れたパフォーマンスを発揮します。 |
| ストレージ効率 | 組み込みの圧縮機能がなく、データ保存が冗長になる可能性があるため、ストレージ効率が低くなります。 | カラム型ストレージと高度な圧縮アルゴリズムにより、ストレージ効率が高く、ストレージ費用を削減できます。特に大規模なデータセットの場合、Parquet は CSV ファイルよりも 50～75% 小さくなる場合があります。 |
Data Transfer がすでに CSV で有効になっている場合は、アカウント マネージャーに連絡して Parquet へのアクセス権を取得してください。
サンプル ファイルをダウンロードする
サンプル ファイルを CSV または Parquet としてダウンロードして、各 Data Transfer レポート ファイルに含まれるデータと項目をプレビューできます。
| イベントの種類 | ファイル名とタイプ | 内容 | サンプル ファイル |
|---|---|---|---|
| 参加可能な入札単価 | NetworkBackfillBidsJoinable |
入札に関する情報。他の Data Transfer ファイルと結合できます。 1 時間あたり 1 ファイル。 |
|
| CodeServe | NetworkCodeServes |
ダウンロードされたかどうかにかかわらず、アド マネージャーからのすべての応答を記録します。 1 時間あたり 2 ファイル。 注: リクエストとコード配信のファイルは、インプレッションのファイルに追加費用なしで含まれます。 |
|
| インプレッション | NetworkImpressions |
ダウンロード インプレッションに関する情報。 1 時間あたり 2 ファイル。 |
|
| リクエスト | NetworkRequests |
処理されたかどうかにかかわらず、アド マネージャーが受信したすべての広告リクエストを記録します。 1 時間あたり 2 ファイル。 注: リクエストとコード配信のファイルは、インプレッションのファイルに追加費用なしで含まれます。 |
|
| アクティブ ビュー | NetworkActiveViews |
アクティブ ビュー測定対象の、アド マネージャーに基づくインプレッションに関する情報。 1 時間あたり 2 ファイル。 |
|
| 入札 | NetworkBackfillBids （ベータ版） |
認定バイヤーと Open Bidding オークションの入札に関する情報。 1 時間あたり 1 ファイル。 |
|
| クリック | NetworkClicks |
クリックに関する情報。 1 時間あたり 2 ファイル。 |
|
| 落札に必要な最小単価 | NetworkMinimumBidToWin （ベータ版） |
少なくとも 1 つの空き枠広告申込情報が競合した場合に、オークションの落札に必要な最小入札単価。 1 時間あたり 1 ファイル。 |
|
| Rich Media 変換 | NetworkRichMediaConversions |
標準のアクションとカスタム アクション（再生や一時停止など）、アクションの継続時間など、スタジオのイベントに関する情報。 1 時間あたり 2 ファイル。 |
|
| 動画コンバージョン | NetworkVideoConversions |
アクション（再生や一時停止など）、コンテンツ ID、連続配信広告の位置などの、動画固有のイベントに関する情報。すべての動画イベントはこちらをご覧ください。 1 時間あたり 2 ファイル。 |
|
ファイル配信の仕組み
Data Transfer ファイルは、1 時間ごとにアド マネージャーのクラウド ストレージ バケットにプッシュされます。定期的に最新データを確認することをおすすめします。データの大半は記録されてから 5～15 時間後に配信され、利用可能になります。ただし、一部の遅延を伴うイベントについては、発生してから最大 8 日かかる場合があります。アド マネージャーから第三者サーバーに Data Transfer 情報を配信することはありません。
ファイル名には、米国太平洋標準時間でのイベントの開始時間が含まれます（夏時間も適用されます）が、そのファイル内のタイムスタンプは常にアド マネージャー ネットワークのタイムゾーンが基準となります（このタイムゾーンでは夏時間が適用されない可能性があります）。このため、タイムゾーン設定の関係で、ファイルが空白の場合や、ファイルが配信されない、またはファイルに 1 時間分以上のデータが含まれる場合があります。
ファイル名
データ転送ファイルの名前の形式は次のとおりです。
- CSV:
[タイプ]_[ネットワーク ID]_[YYYYMMDD]_[HH].gz - Parquet:
[タイプ][ネットワーク ID][YYYYMMDD]_[HH]-[パーティション インデックス]-of-[パーティションの合計数].parquet - 「
YYYYMMDD」は年月日です。 - 「
HH」は 24 時間表記の開始時間です。各ファイル名に含まれている時間（01、02、03 など）は、米国太平洋タイムゾーンでの時間です。ネットワークのタイムゾーン固有のデータが必要な場合は、Data Transfer ファイル内のタイムスタンプを使用してください。ファイルの配信を計算する際は、この時差にご留意ください。
[パーティション インデックス]: 作成されたファイル（パーティション）の総数に対するファイルのパーティション（0 から始まる）。[パーティションの合計数]は、ファイルの作成に使用されたファイル（パーティション）の数です。
広告リクエスト プロセスにおける Data Transfer ファイル
以下の図は、広告リクエスト プロセスのさまざまな段階に関連付けられている Data Transfer ファイル形式を示しています。
Data Transfer レポート ファイルを使用する
Data Transfer の設定が完了すると、アド マネージャーのクラウド ストレージ バケットにファイルが保存されるようになります。これらのファイルには、ウェブ、コマンドライン ツール、API をからアクセスできます。アド マネージャーのクラウド ストレージ バケットにアクセスする方法について
ファイル名に記されている開始時間に基づいて特定の Data Transfer ファイルのデータのみを取得し、分析すると、夏時間やデータ収集の遅延などのためにその後のファイルで提供されたデータを見落とす可能性があります。この場合は、Data Transfer ファイルをすべて別のシステム（データ ウェアハウスやクエリエンジンなど）に読み込んでから、イベントのタイムスタンプを基準に分析データを絞り込むことをおすすめします。
Data Transfer ファイルは、CSV ファイルと Parquet ファイルの 2 つの形式で使用できます。
ユーザーは、ファイルごとに CSV、Parquet、またはその両方の出力を選択できます。Parquet はデータ ウェアハウスのユースケースと取り込みに最適な形式です。CSV ファイルはファイルサイズに応じてスプレッドシート エディタで使用できます。Data Transfer の情報を利用した分析方法として一般的な例を次に挙げます。
- イベントとアクティビティの多次元的なユーザー集計（クリエイティブ単位など）
- 複数日にわたるユニーク コンバージョン数の計算
- ユーザーと顧客データベースとの照合
- ユーザーの地域と属性の情報に基づいたレポート作成
マッチテーブルは、Data Transfer ファイル内の値に対する名前と ID の照合表です。これを使って、広告配信情報（広告ユニット、広告申込情報など）とデータベース内の事前割り当て値とを照合できます。
ファイルをローカルに保存する
目安として、イベントあたり圧縮ファイルで 25～35 バイトとなります。そのため、1,000 万インプレッションでは、圧縮された CSV ファイルで約 300 MB のディスク容量が必要になります。Parquet 出力形式では、多くの場合ファイルサイズがこれより小さくなります。ただし、これはあくまで目安であり、これよりファイルサイズが多少大きくなることもあります。また、これは圧縮形式のデータサイズなので、ファイルを解凍して使用するにはさらに容量が必要になります。
60 日以上前の Data Transfer ファイルはアド マネージャーから消去されます。60 日間より長くファイルを保存したい場合は、ファイルをローカルに保存するか、恒久的なクラウド ストレージ ソリューションに移動することをおすすめします。たとえば、Google Cloud Storage アカウントを別途取得すれば、そこで提供されるストレージでファイルを自由に管理することができます。
BigQuery Data Transfer Service について
サイズの大きな Data Transfer ファイルを処理するためのサポートツール
Google Code では、CRUSH（Custom Reporting Utilities for Shell）というオープンソースのツールキットを公開しています。このツールキットを使用すると、区切り文字で区切られたテキストデータをコマンドラインまたはシェル スクリプトで処理できます。大規模な開発が行われ広範囲なテストも完了している CRUSH ツールは、Linux や Unix のオペレーティング システムで最適に動作します。CRUSH のサポートは、オープンソース コミュニティを通じて利用できます。
オープンソースではない別のツールとしては、Syncsort が開発したデータ統合ソフトウェア DMX があります。
