Amazon S3 データ入力構成フィールド
Amazon S3 のデータ入力構成フォームのフィールドについて説明します。
基本構成
| フィールド | 説明 |
|---|---|
| 名前 | 新しいデータ入力の名前。このフィールドは必須です。 |
| 説明 | データ入力の説明。 |
| 実行日 | 特定の MID サーバー または MID サーバー クラスターを使用するかどうかを選択するオプション。このフィールドは必須です。 |
| MID |
([実行日 (Execute on)] フィールドが [特定の MID サーバー] に設定されている場合のみ) Amazon S3 に基づくログデータのプル先の MID サーバー。注: このフィールドは必須です。
|
| MID サーバークラスター | ( [実行日] が [特定のクラスター] に設定されている場合のみ MID サーバー 。) ログデータのプル先の MID サーバー クラスター。このフィールドは必須です。データ入力はクラスター内の単一の MID サーバー で実行され、その MID サーバー が失敗するまで継続します。次に、構成された順序に従って、クラスター内の次に利用可能な MID サーバーにすべてのデータ入力タスクが移動されます。 注: MID サーバークラスターの詳細については、「MID サーバークラスターの設定」を参照してください。
|
| サービスインスタンス | ログデータのバインド先のサービスインスタンス。 注: このフィールドは必須です。関連するサービスインスタンスが存在しない場合は、 作成 サービスインスタンス CI を追加します。新しいサービスインスタンスのステータスを [運用] に設定します。 |
次のフィールドには、読み取り専用の情報が表示されます。
| フィールド | 説明 |
|---|---|
| ステータス | データ入力のステータス。 |
| トランスポート (Transport) | ログデータのストリーミングに使用されるプロトコル。 このデータ入力は Amazon S3 を使用してログデータをインスタンスにストリーミングします。 |
| ソースの数 | このデータ入力によって作成されたログソースの数。 |
| 無効になった時刻 (Disabled since) | データ入力が停止または失敗した時刻。 |
| 前回のログ時刻 (Last log time) | データ入力で前回のログがストリーミングされた時刻。 |
| エラーメッセージ | ストリーミングエラー。 このフィールドは、自動的に入力されます。このフィールドは、ストリーミングエラーが発生した場合にのみ表示されます。 |
| フィールド | 説明 | 例 |
|---|---|---|
| 開始/終了 (From/To) | データ読み取りの開始日時と終了日時。
|
開始 (From)：Now -1 week 終了 (To)：2300-01-01 15:59:59 |
| バケット名 | ストリーミングする Amazon S3 バケット。 このフィールドは必須です。 |
my-s3-bucket |
| プリフィックス | フェッチするオブジェクトのプリフィックス。データ入力は、このプリフィックスで始まるオブジェクトのみをフェッチします。一般に、このフィールドは、バケット内の特定フォルダーのみをフェッチするために使用されます。 | /only/this/folder/ |
| インクルード | システムがパターンマッチングの実行時に含めるファイルまたはオブジェクト。 | .*include-me.* |
| 除外する | システムがパターンマッチングの実行時に除外するファイルまたはオブジェクト。 | .*skip-me.* |
| フィールド | 説明 |
|---|---|
| AWS 認証情報 | AWS 認証情報リスト (aws_credentials.list) を参照するフィールド。リストには、AWS アクセスキーと秘密アクセスキーが含まれています。 |
| AWS リージョン | Amazon S3 バケットがある AWS リージョン (例：us-west-1)。 AWS リージョンのリストについては、「https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-regions-availability-zones.html#concepts-regions」を参照してください。 このフィールドは必須です。 |
詳細構成
| フィールド | 説明 | デフォルト値 |
|---|---|---|
| 匿名 | デフォルトの認証情報が存在しても無視し、認証情報なしで Amazon S3 バケットに強制的にアクセスするオプション。 | False |
| 走査 (Traverse) | バケット内の各ディレクトリにアクセスするオプション。 | False |
| 最終変更時間でソートされたオブジェクト (Object sorted by Last Modified Time) | バケット内のオブジェクトが時間でソートされている場合にオブジェクトをフェッチするオプション。 | False |
| 接続タイムアウト | AWS への接続試行がタイムアウトするまでの待機時間 (ミリ秒)。 | 100 |
| スレッドプールサイズ (Threadpool size) | バケットからファイルをダウンロードする同時スレッドの数。 | 1 |
| バッファーサイズ (Buffer size) | ダウンロードバッファーのサイズ (バイト)。 | 100 MB |
| ソケットタイムアウト | 確立された接続を介したデータ転送がタイムアウトするまでの待機時間 (ミリ秒)。 | 10000 |
| ファイルの最大再試行回数 (Max retry for file) | ファイル処理を失敗した場合に再試行する最大回数。 | 10 |
| デフォルトのタイムゾーン (Default time zone) | ログにタイムゾーン情報が含まれていない場合のデフォルトのタイムゾーン。 | UTC |
| サブサンプルドロップ率 (Sub sample drop ratio) | このイベント数に達すると、イベントが 1 つ破棄されます。この設定は、フェッチするイベントの数を減らすために使用されます。 | -1 |
| サブサンプル受信率 (Sub sample receive ratio) | このイベント数に達すると、1 つを除いてすべてのイベントが破棄されます。この設定は、受信するイベントの数を減らすために使用されます。 | -1 |
| レート制限 | このデータ入力が処理する 1 秒あたりのイベントの最大数。 | -1 |
| 最大長 (バイト) (Max length in bytes) | イベントの最大長 (バイト)。 | 32766 |
| 文字エンコード | このデータ入力の文字エンコーディング。 | UTF-8 |
| スリープ間隔 | クエリーでイベントが返されなかった場合に、クエリーを再実行するまで待機する間隔 (秒)。 | 60 |
| ポーリング間隔 | 新しいイベントをポーリングするまで待機する間隔 (秒単位)。 | 0 |
| キューが満杯の場合は削除 | MID サーバーに負荷がかかっている場合にログを破棄するオプション。 | False |