Это не совсем честное сравнение ...
SELECT COUNT(1)
возвращает только одно число и, вероятно, будет использовать индекс для подсчета строк.
SELECT *
возвращает ВСЕ данные из таблицы.
Возврат данных - это дорогой (медленный) процесс, поэтому для его возврата, очевидно, потребуется время. Тогда возникает вопрос передачи данных, подключены ли серверы по высокоскоростному соединению? Это тоже фактор в этом. Запросы по связанному серверу никогда не будут такими быстрыми, как запросы к вашей базе данных напрямую.
Как вы можете улучшить скорость? Я бы начал с возврата только тех данных, которые вам нужны, указав столбцы и добавив предложение where. После этого вы, вероятно, можете использовать индексы в Maria, чтобы попытаться ускорить процесс.