Подсчет строк в Google Bucket с Java

Question

Можно ли считать строки в блобе Google bucket, не загружая его?Я пытаюсь прочитать csv файлы из корзины Google, и мне нужен способ подсчитать их строки, не загружая их.Возможно ли это с помощью API, предоставляемого Google?

Answer 1

Вы можете попробовать следующее для подсчета строк объекта:

import com.google.cloud.storage.Blob;
import com.google.cloud.storage.BlobId;
import com.google.cloud.storage.Storage;
import com.google.cloud.storage.StorageOptions;
import com.google.cloud.storage.Blob.BlobSourceOption;

public class CountObjectLines {
  public static void main(String... args) throws Exception {
    Storage storage = StorageOptions.getDefaultInstance().getService();
    Blob blob = storage.get(BlobId.of("your-bucket", "your-file.csv"));
    //This will get the content of the object
    byte[] content = blob.getContent(BlobSourceOption.generationMatch());
    String csvContent= new String(content);
    //This will count the lines of the file
    String[] lines = csvContent.split("\r\n");
    System.out.println(lines.length);
  }
}

Надеюсь, это поможет.

Answer 2

Нет, это невозможно.Google Cloud Storage хранит объекты с целью обеспечения надежности и доступности.Облачное хранилище Google не обеспечивает вычислительную мощность для анализа содержимого объектов хранилища.

Вам потребуется прочитать объект, чтобы подсчитать строки.Наиболее эффективным способом было бы использование вычислительного экземпляра в облаке для максимизации производительности полосы пропускания.

Google Cloud предлагает ряд служб хранения.Некоторые из них обеспечивают вычислительную мощность как часть услуги.Если ваши CSV-файлы имеют большой размер, BigQuery будет примером, который может анализировать миллиарды строк за считанные секунды.