Я работаю с различными источниками данных (Salesforce, Google, CSV, другими API-интерфейсами REST и т. Д.) И типами (табличные, ключ-значение) и имею ряд различных оболочек Python, которые предоставляют эти каналы.
Их сложно поддерживать, и в настоящее время они не следуют последовательному интерфейсу / соглашению - что я считаю плохим местом.Список источников, из которых мне нужно получать данные, постоянно растет, и поэтому я хочу найти / найти лучшее решение.
Мне кажется, что я пытаюсь спроектировать какой-то «общий» шлюз данных, построенный на Python, который может обеспечить согласованный интерфейс с данными, которые мне нужны, независимо от источника и метода поиска (например, HTTP).запрос против базы данных).Проблема в том, что я изо всех сил пытаюсь найти какие-либо конкретные примеры использования этого типа установки, что мне кажется странным, так как это кажется распространенной проблемой для многих организаций, где данные поступают из многих источников с множеством различных схем иструктур.
Буду признателен за любые предложения о том, как начать думать об этом, и / или о направлениях к существующим решениям, которые могут помочь.