Ниже приведено для BigQuery Standard SQL
#standardSQL
SELECT *
FROM `project.dataset.table`
WHERE REGEXP_CONTAINS(column_A, r'^\d+$')
Если применить к образцу данных в вашем вопросе, как в примере ниже
#standardSQL
WITH `project.dataset.table` AS (
SELECT 'abcd' column_A UNION ALL
SELECT '1234' UNION ALL
SELECT '6754' UNION ALL
SELECT 'defg' UNION ALL
SELECT '1100'
)
SELECT *
FROM `project.dataset.table`
WHERE REGEXP_CONTAINS(column_A, r'^\d+$')
, результат будет
Row column_A
1 1234
2 6754
3 1100