Загрузка большого набора данных в MySql

Question

У меня проблема со вставкой данных в MySql.Набор данных, который я использую, большой, данные о кибератаках.Например, текущие данные, над которыми я работаю, содержат около 25 000 записей, и каждый раз, когда я создаю новую схему и вставляю данные, загружается только 1000 записей.Я пробовал так много раз, результат все тот же.Пожалуйста, помогите мне, потому что я читал, и он говорит, что большой набор данных не проблема для MySql.

Answer 1

очень старый вопрос, мои 2 цента для тех, кто может споткнуться здесь.

25 000 записей слишком малы для mysql, чтобы иметь какие-либо проблемы. У нас есть сотни таблиц с миллионами строк. Если, скажем, вы не запускаете MySQL на Raspberry Pi.

Размер входных записей не является проблемой. Я могу придумать две возможные причины:

1. У вас есть опция " IGNORE number LINES " в вашем ИНФИЛЕ НАГРУЗКИ.
2. Ваш выбор имеет опцию " LIMIT 1000 ". Если вы используете какую-либо клиентскую программу Mysql (например, SqlYog), они имеют ограничение по умолчанию.

Answer 2

Взгляните на INFILE НАГРУЗКИ MySQL .Прежде чем перейти к настоящей поисковой системе, нам приходилось экспортировать трехчасовые снимки, которые содержали миллионы строк.Таким образом, мы экспортировали данные с помощью SELECT INTO OUTFILE , а затем сделали LOAD DATA INFILE на граничных узлах.Потребовалось около 15 минут, чтобы загрузить данные для самой большой базы данных (более 5 миллионов).