Как предотвратить инъекции SQL в Flask -Alchemy? Есть ли лучший способ загрузки данных из CSV?

Question

Я пытаюсь быстро загрузить данные из inte rnet в таблицу, используя Flask, SQLAlchemy с PostgreSQL / psycopg2. Я немного спорю с коллегой. Мы будем называть его "папа". Папа утверждает, что мы не можем выполнить необработанный запрос SQL из-за возможности внедрения SQL. Я утверждаю, что мы можем, если он, вероятно, отформатирован, что сложно сделать, и обычно следует использовать ORM. Следующий пример кажется мне достаточно простой проблемой.

# Flask-SQLAlachemy
from flask import Flask, render_template
from flask_sqlalchemy import SQLAlchemy

server = Flask(__name__)
server.config['SQLALCHEMY_TRACK_MODIFICATIONS'] = False
server.config['SQLALCHEMY_DATABASE_URI'] = 'postgresql+psycopg2://...'
db = SQLAlchemy(server)

@server.route('/<column>')
def index(column):
    result = db.session.execute("SELECT" + column + "from item_profit")
    return render_template('index.html', data=result)

Кто-то может вставить любой необработанный SQL в столбец и вернуть эту таблицу. Смотрите эту ссылку для других простых инъекций. Я видел этот SO ответ (см. Второй ответ), который, по-видимому, подразумевает, что правильно отформатированная строка не приведет к инъекции SQL. Их код выглядит так:

result = db.session.execute('SELECT * FROM my_table WHERE my_column = :val', {'val': 5})

Папа говорит, что администраторы баз данных в довольно многих компаниях не позволяют другим отделам иметь полномочия на исполнение ie, которые они не смогут использовать

    result = db.session.execute("...")

Я думаю, это потому, что они обеспокоены тем, что обычный пользователь не будет знать, как правильно его отформатировать. Это верно? Дело не в том, что выполнение запроса SQL может вызвать внедрение SQL, а в том, что запрос выполнения, отформатированный неправильно , может вызвать его. Вот почему люди говорят, что следует использовать ORM, потому что он постоянно обеспечивает правильно отформатированные запросы. Это правильное мышление? Системы ORM просто выполняют закулисную работу. Если выполнение запроса было проблемой внедрения, то даже ORM нельзя было использовать. Черт, даже SQL не может быть использовано, правильно? Я надеюсь использовать raw SQL в некоторых случаях, так как мы могли бы иметь дело с огромными наборами данных, скорость обработки которых является основным фактором, а ORM намного, намного медленнее.

Тогда я задаюсь вопросом: лучший способ загрузить CSV в базу данных SQL при минимизации сырых SQL? Папа импортировал CSV в postgres, используя импорт PgAdmin (экономит много времени на выписывание импорта в psql). Я знаю, что другим способом было бы использовать метод pandas pandas .Dataframe.to_ sql (), но я не вижу, что введение pandas для этого кажется лучшим дизайном здесь. Обычно я использую ORM, но я не уверен, есть ли быстрый способ получить CSV таким способом. Допустим, у меня был CSV таблицы, Product, с двумя столбцами, Name и Cost. Чтобы сделать это в ORM, я бы сделал следующее:

...

db = SQLAlchemy(app)

class Product(db.Model):
    __tablename__ = 'product'

    name = db.Column(db.String)
    cost = db.Column(db.Double)

Однако я возвращаюсь к вопросу получения CSV в python для загрузки в таблицу. pandas from_csv (''). Я думаю, я мог бы также открыть сам файл и l oop через него. Что-то вроде

for record in csv_file:
    product = Product(name=..., cost=...)
    db.session.add(product)
    db.session.commit()

Есть ли лучший способ? У ORM есть способ загрузить CSV, позволяя мне избегать необработанных SQL большую часть времени? Спасибо.

Answer 1

Это много вопросов.

@server.route('/<column>')
def index(column):
    result = db.session.execute("SELECT" + column + "from item_profit")
    return render_template('index.html', data=result)

Это выглядит достаточно надежно, если вы ограничите то, что может содержать переменная столбца. Но проблема в том, что вы никогда не знаете, что произойдет с кодом в будущем. Все возможные проверки могут go отойти, и останется только этот "SELECT" + column + "from ...", и тогда может возникнуть проблема. Вот почему я всегда спорю против построения sql и отправки его в базу данных.

Папа говорит, что администраторы баз данных во многих компаниях не позволяют другим департаментам исполнять полномочия ie, которые они не смогут использовать

Я не уверен, что именно подразумевается под этим. Некоторые компании или некоторые приложения могут препятствовать выполнению базой данных чего-либо, кроме хранимых процедур. Таким образом, база данных не может быть использована неправильно, и разрешения легче проверить. Но база данных не может помешать sqlalchemy выполнять db.session.execute. db.session.execute может выполнить процедуру выбора, обновления, удаления, хранимую процедуру, любую sql в целом, и СУБД будет применять к этому разрешению sql. Используете ли вы raw sql, или ваш raw sql построен ORM, или любой другой компоновщик не имеет значения.

Теперь даже SQLAlchemy имеет 2-3 уровня. ORM - высший уровень. Тогда есть QL (Query Language), который позволит вам создавать и выполнять SQL. Наконец, вы можете выполнить литерал SQL.

В литерале SQL вы можете использовать параметры, например: https://docs.sqlalchemy.org/en/13/core/tutorial.html#specifying -bound-parameter-поведенческого поведения

В QL вы можете легко построить запрос вроде:

q = table_name.insert({
    "id": 3321, "name": python_var_name, "age": python_var_age,
})
conn.execute(q)
# or even session.execute(q)  but consult the docs

В ORM вы уже знаете, что делать. Но так как вы хотите вставить много записей, вы можете подумать об использовании bulk_insert_mapping, { ссылка }, но он будет использовать весь механизм ORM, который вам, вероятно, не нужен.

Вам будет лучше с QL. Прочитайте учебник, это все там: https://docs.sqlalchemy.org/en/13/core/tutorial.html https://docs.sqlalchemy.org/en/13/core/tutorial.html#executing -многократные операторы