Я загружаю набор данных из Google BigQuery, используя pandas, например,
df = pd.read_gbq(query, location="US"...)
, и он сообщает, что загружает. Но где хранятся данные? Мне нужно знать, прежде чем вызывать тяжелые грузы ...
Python имеет распределитель объектов, который отвечает за выделение памяти в области памяти объектов. Он напрямую использует память компьютера, на котором работает Jupyter, для хранения DataFrame, который вы получаете от вашего pd.read_gbq вызова. Проверьте Управление памятью CPython , чтобы узнать больше об этом. Здесь у вас есть разные методы для оценки размера в памяти, который понадобится этому DataFrame.