Как установить будущую дату вставки в Google Cloud Bigtable?Попытка вычислить это, используя TTL - PullRequest
Новая
       93

Как установить будущую дату вставки в Google Cloud Bigtable?Попытка вычислить это, используя TTL

0 голосов
/ 03 октября 2018

У меня есть таблица только с одним семейством столбцов, этот столбец имеет TTL 172800 секунд (2 дня), мне нужно удалить некоторые данные до истечения срока.Если я хочу, чтобы значение истекло через 5 минут, я вычисляю время истечения и устанавливаю дату вставки равной 5 минутам до времени истечения.

Я использую HBase Client для Java для этого.

Но значение, похоже, не истекло.Любые предложения на то же самое?

Я использовал cbt для создания таблицы: 

cbt createtable my_table families=cf1:maxage=2d

HColumnDescriptor: 

{NAME => 'cf1', BLOOMFILTER => 'ROW', VERSIONS => '2147483647', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => '172800 SECONDS (2 DAYS)', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}

Java-код: 

import com.google.cloud.bigtable.hbase.BigtableConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;
import java.util.Calendar;
import java.util.Date;

public class BigTable {
    public static void main(String... args) {
        String projectId = "my-gcp-project-id";
        String instanceId = "my-bigtable-instance-id";
        String tableId = "my-table";    // my-bigtable-table-id

        try (Connection connection = BigtableConfiguration.connect(projectId, instanceId)) {
            try (Table table = connection.getTable(TableName.valueOf(tableId))) {

                HTableDescriptor hTableDescriptor = table.getTableDescriptor();
                hTableDescriptor.setCompactionEnabled(true);

                byte[] cf1 = Bytes.toBytes("cf1");
                byte[] rk1 = Bytes.toBytes("rowkey1");
                byte[] q1 = Bytes.toBytes("q1");

                HColumnDescriptor cfDescriptor1 = hTableDescriptor.getFamily(cf1);
                System.out.println("\n " + cfDescriptor1);

                Calendar now = Calendar.getInstance();
                Calendar now1 = Calendar.getInstance();
                now1.setTime(now.getTime());

                long nowMillis = now.getTimeInMillis(); // Current time

                now.add(Calendar.SECOND, cfDescriptor1.getTimeToLive()); // Adding 172800 SECONDS (2 DAYS) to current time
                long cfTTLMillis = now.getTimeInMillis(); // Time the values in the column family will expire at

                now1.add(Calendar.SECOND, 300); // Adding 300 secs (5mins)
                long expiry = now1.getTimeInMillis(); // Time the value should actually live

                long creationTime = nowMillis + cfTTLMillis - expiry;

                System.out.println("\n Date nowMillis:\t" + new Date(nowMillis) + "\n Date creationTime:\t" + new Date(creationTime) + "\n Date cfTTLMillis:\t" + new Date(cfTTLMillis));

                //Add Data
                Put p = new Put(rk1, creationTime);
                p.addColumn(cf1, q1, Bytes.toBytes("CFExpiry_2d_ExpTime_5mins"));
                //p.setTTL(creationtime); // What does this do?
                table.put(p);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }}

Расчетные даты: 

 Date nowMillis:    Wed Oct 03 10:34:15 EDT 2018
 Date creationTime: Fri Oct 05 10:29:15 EDT 2018
 Date cfTTLMillis:  Fri Oct 05 10:34:15 EDT 2018

Значение вставлено правильно с правильными рассчитанными датами.Но, похоже, не истекает?Пожалуйста, исправьте мои концепции, если не так.

Редактировать:

После приведенной ниже корректировки в вычислении даты значения действительно истекают.

long nowMillis = System.currentTimeMillis() / 1000;
long cfTTLMillis = nowMillis - cfDescriptor1.getTimeToLive();
long creationTime = (cfTTLMillis + 300) * 1000;

1 Ответ

0 голосов
/ 04 октября 2018

Cloud Bigtable не собирает строки, пока не произойдет сжатие.Это может произойти через несколько часов (или, возможно, через несколько дней) после ожидаемого истечения срока действия.

Если вы хотите не читать данные, срок действия которых истек, установите фильтр диапазона меток времени на считанные данные, чтобы значениявне допустимого диапазона не возвращаются в запросе.

В качестве альтернативы вам придется отфильтровывать их после возврата данных, но гораздо эффективнее отфильтровать их на стороне сервера, чтобыклиент не должен загружать или обрабатывать его.

...