Laporan inventaris Insight Penyimpanan

Fitur laporan inventaris Insight Penyimpanan membantu Anda mengelola penyimpanan objek dalam skala besar. Ini merupakan alternatif yang lebih cepat dan terjadwal untuk operasi Objects: list API.

Laporan inventaris berisi informasi metadata tentang objek Anda, seperti kelas penyimpanan objek, ETag, dan jenis konten. Informasi ini membantu Anda menganalisis biaya penyimpanan, mengaudit dan memvalidasi objek, serta memastikan kepatuhan dan keamanan data. Anda dapat mengekspor laporan inventaris sebagai file nilai yang dipisahkan koma (CSV) atau Apache Parquet, sehingga Anda dapat menganalisisnya lebih lanjut menggunakan alat seperti BigQuery.

Halaman ini menyediakan ringkasan fitur laporan inventaris Insight Penyimpanan. Untuk mengetahui petunjuk cara menggunakan fitur ini, lihat Membuat dan mengelola laporan inventaris.

Ringkasan laporan inventaris

Laporan inventaris berisi daftar objek dan metadata yang terkait untuk bucket tertentu, yang juga dikenal sebagai bucket sumber. Untuk menghasilkan laporan inventaris, Anda harus terlebih dahulu membuat konfigurasi laporan inventaris yang menentukan seberapa sering laporan dibuat, kolom metadata yang ingin disertakan dalam laporan, dan bucket untuk membuat dan menyimpan laporan, yang juga dikenal sebagai bucket tujuan.

Saat Anda membuat konfigurasi laporan inventaris, konfigurasi tersebut akan otomatis diberi ID unik universal (UUID). Kolom ini tidak dapat diedit. Namun, Anda dapat mengedit kolom konfigurasi laporan inventaris berikut:

• Nama tampilan konfigurasi laporan inventaris
• Kolom metadata objek yang disertakan dalam laporan inventaris
• Bucket tujuan yang menyimpan laporan inventaris
• Jadwal yang menentukan frekuensi pembuatan laporan inventaris
• Format file yang digunakan untuk membuat laporan inventaris (CSV atau Apache Parquet)

Saat Anda menghapus konfigurasi laporan inventaris, laporan inventaris baru tidak akan lagi dibuat untuk konfigurasi, tetapi laporan inventaris yang sudah ada akan tetap ada.

Bucket sumber dan tujuan

Bucket sumber berisi objek yang ingin Anda buatkan laporan inventarisnya. File ini juga berisi konfigurasi laporan inventaris. Anda dapat memiliki hingga 100 konfigurasi laporan inventaris dalam bucket sumber.

Bucket tujuan menyimpan laporan inventaris yang dihasilkan. Bucket tujuan harus memenuhi persyaratan berikut:

• File ini harus berada di lokasi yang sama dengan bucket sumber.
• File ini harus berada dalam project yang sama dengan bucket sumber.
• Bucket ini bisa sama dengan bucket sumber.

Saat pertama kali membuat konfigurasi laporan inventaris, agen layanan otomatis dibuat untuk Anda. Untuk membuat konfigurasi laporan inventaris dan menulis laporan inventaris ke bucket tujuan, Anda dan agen layanan harus memiliki izin IAM yang diperlukan. Lihat izin yang diperlukan untuk Anda sendiri dan agen layanan Anda.

Insight Penyimpanan menggunakan nama bucket sumber dan tujuan untuk menentukan bucket mana yang akan digunakan saat menjalankan tugas. Jika Anda menghapus bucket sumber atau tujuan, lalu membuat bucket baru dengan nama yang sama, Insight Penyimpanan akan menjalankan tugas menggunakan bucket baru.

Kolom metadata objek

Kolom metadata berikut dapat disertakan dalam laporan inventaris. Kolom metadata yang ditandai sebagai "Wajib" harus disertakan dalam laporan inventaris.

Untuk mengetahui informasi selengkapnya tentang kolom metadata objek, lihat Metadata objek.

Shard laporan inventaris

Jika laporan inventaris berisi lebih dari 1.000.000 objek, Insight Penyimpanan akan menghasilkan satu atau beberapa objek shard untuk menyusun laporan inventaris. Jika semua shard laporan inventaris berhasil dibuat, file manifes akan dibuat dalam bucket tujuan yang sama dengan shard.

File manifes laporan inventaris

Keberadaan file manifes menunjukkan bahwa semua shard yang menyusun laporan inventaris telah dibuat. File manifes juga menyediakan nama objek shard laporan inventaris.

File manifes mengikuti konvensi penamaan REPORT_CONFIG_UUID_TARGET_DATETIME_manifest.json, dengan:

• REPORT_CONFIG_UUID adalah UUID yang dibuat otomatis dari konfigurasi laporan inventaris.

• TARGET_DATETIME adalah tanggal dan waktu UTC yang dibuat secara otomatis saat laporan inventaris dibuat.

Contoh nama file manifes adalah fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:00_manifest.json.

File manifest.json berisi kolom yang terisi otomatis berikut:

{
  "report_config": REPORT_CONFIG_FIELDS,
  "records_processed": NUMBER_OF_INCLUDED_OBJECTS,
  "snapshot_time": "SNAPSHOT_TIME,
  "target_datetime": "TARGET_DATETIME,
  "shard_count": SHARD_COUNT,
  "report_shards_file_names": [
    SHARD_FILE_NAME
    ...]
}

Dengan keterangan:

• REPORT_CONFIG_FIELDS mencakup kolom yang terdapat dalam resource ReportConfig.

• NUMBER_OF_INCLUDED_OBJECTS adalah jumlah objek yang disertakan dalam laporan inventaris.

• SNAPSHOT_TIME adalah tanggal dan waktu UTC yang dibuat secara otomatis saat snapshot data terjadi. Semua data dalam laporan inventaris diambil saat snapshot.

• TARGET_DATETIME adalah tanggal dan waktu UTC yang dibuat secara otomatis saat laporan inventaris dibuat.

• SHARD_COUNT adalah jumlah total shard yang dihasilkan yang menyusun laporan inventaris.

• SHARD_FILE_NAME adalah nama shard yang menyusun laporan inventaris.

Contoh file manifest.json terlihat seperti berikut:

{
  "report_config":
     {
       "name": "projects/123456789098/locations/us/reportConfigs/fcec5187-afa6-48b0-938a-543d16493dc0",
       "createTime": "2023-06-08T08:07:53.397366139Z",
       "updateTime": "2023-06-08T08:07:53.552347723Z",
       "frequencyOptions": {
         "frequency": "DAILY",
         "startDate": {
           "year": 2023,
           "month": 6,
           "day": 9
         }
         "endDate": {
           "year": 2023,
           "month": 6,
           "day": 23
         }
       },
       "csvOptions": {
         "recordSeparator": "\n",
         "delimiter": ","
       },
       "objectMetadataReportOptions": {
         "metadataFields": [
           "project",
           "bucket",
           "name",
           "location",
           "updated",
           "storageClass",
         ],
         "storageFilters": {
           "bucket": "my-test-bucket"
         },
         "storageDestinationOptions": {
           "bucket": "example-bucket",
           "destinationPath": "folder/subfolder"
         }
       }
     },
  "records_processed": 3993900,
  "snapshot_time" : "2023-06-06T00:07:27Z",
  "target_datetime": {
    "year": 2023,
    "month": 6,
    "day": 6
  },
  "shard_count": 4,
  "report_shards_file_names": [
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_0.csv",
    "fc95c52f-157a-494f-af4a-d4a53a69ba66_2022-11-30T00:54_1.csv",
    ...
  ],
}

Harga dan lokasi bucket yang didukung

Insight Penyimpanan tunduk pada harga, dengan setiap satu juta objek yang terdapat dalam laporan inventaris dikenakan biaya dengan harga di bawah, yang bergantung pada lokasi penyimpanan. Untuk mengetahui informasi selengkapnya tentang lokasi penyimpanan, lihat Lokasi bucket.

Lokasi yang didukung

Logging audit

Cloud Storage membuat log audit saat laporan inventaris dibuat di bucket tujuan. Insight Penyimpanan menghasilkan log audit setiap kali konfigurasi laporan inventaris dibuat, diperbarui, atau dihapus.

Cloud Storage tidak membuat log audit saat konfigurasi laporan inventaris membaca metadata objek dari bucket sumber.

Integrasi dengan Kontrol Layanan VPC

Anda dapat memberikan lapisan keamanan tambahan untuk resource Insight Penyimpanan menggunakan Kontrol Layanan VPC. Saat menggunakan Kontrol Layanan VPC, Anda menambahkan project ke perimeter layanan yang melindungi resource dan layanan dari permintaan yang berasal dari luar perimeter. Untuk mempelajari Kontrol Layanan VPC dan perimeter layanan lebih lanjut, lihat Detail dan konfigurasi perimeter layanan.

Batasan

Mengaktifkan pemfilteran IP di bucket Cloud Storage akan membatasi Storage Insights agar tidak dapat mengakses bucket, terlepas dari apakah Storage Insights menggunakan agen layanan untuk berinteraksi dengan Cloud Storage. Untuk mencegah gangguan layanan, sebaiknya jangan gunakan pemfilteran IP di bucket Cloud Storage jika Anda membuat laporan inventaris untuk bucket tersebut.

Langkah selanjutnya

Pelajari cara membuat konfigurasi laporan inventaris dan mulai membuat laporan inventaris.