У меня также была такая же проблема, когда я пытался сделать это с mysql верстаком (поскольку он дает время выполнения), но соединение с mysql сервером не удавалось, когда данные были большими.
Так как я Я использовал java и Springboot, я сделал Api, сервис и репозиторий для взаимодействия с базой данных, где мне нужно было создавать классы как сущности для каждой таблицы, а затем я просто позволил пружине jpa дать команду mysql для сканирования. В необходимой базе данных я использовал наносекундную библиотеку java для вычисления разницы во времени и преобразовал ее в секунды. Все прошло довольно гладко. Я понимаю, что добавляется некоторое дополнительное время из-за того, что я выполняю вызов пружины для запуска сканирования для запуска сканирования и mysql фактического сканирования базы данных, но я думаю, что это очень незначительно.
Так что, возможно, вы можете сделать то же самое в вашем предпочтении языка или структуры.