Проблема:
Я работаю над проектом, который состоит из нескольких исследований и группы пользователей, каждый из которых участвует в одном из исследований.Каждое исследование делит участников на две группы на основе списка, который генерируется с использованием некоторого алгоритма рандомизации.После регистрации каждый пользователь назначается для исследования, и его группа определяется порядком регистрации и соответствующим индексом в списке групп.Например, если исследование A имеет общее количество мест 4, а список групп - [0, 1, 1, 0], то первый пользователь назначается группе 0, второй - 1 и т. Д., Пока исследование не будет заполнено.
В проекте определены другие роли пользователей, которые являются администраторами и могут быть назначены для нескольких исследований, не занимая какую-либо должность в исследовании.Это означает, что отношение пользователей к исследованиям составляет n:m.
Проблема, которая возникает в текущей реализации, - это состояние гонки при назначении пользователей для исследований и учебных групп.Код приведен ниже, и способ его работы заключается в том, что он переопределяет модель addUser из Study и всякий раз, когда пользователь добавляется в исследование, он проверяет, сколько пользователей уже участвует в исследовании, и дает пользователю текущий индекссписок групп, который является номером seatsTaken.Это работает до тех пор, пока пользователи добавляются в исследование с интервалами.Но всякий раз, когда несколько пользователей добавляются одновременно, асинхронные запросы вызывают состояние гонки, и на число seatsTaken влияют другие пользователи, регистрирующиеся одновременно.
В приведенном ниже примере назначенные пользователиДля изучения A через определенные промежутки времени назначаются правильные группы, а для изучения B с одновременными запросами назначается неправильное распределение групп.
const Sequelize = require('sequelize');
const assert = require('assert');
const sequelize = new Sequelize({
database: 'database',
username: 'username',
password: 'password',
dialect: process.env.DB_DIALECT || 'sqlite',
storage: 'db.sqlite',
logging: false
});
const User = sequelize.define('user', {
id: {
type: Sequelize.INTEGER,
autoIncrement: true,
primaryKey: true,
},
group: {
type: Sequelize.INTEGER,
allowNull: true,
defaultValue: null
}
});
// Groups list for studies 'A' and 'B'
const groupLists = {
a: [0, 1, 1, 0],
b: [1, 0, 1, 0]
}
const Study = sequelize.define('study', {
id: {
type: Sequelize.INTEGER,
autoIncrement: true,
primaryKey: true,
},
name: {
type: Sequelize.STRING,
allowNull: false
},
seatsTotal: {
type: Sequelize.INTEGER,
defaultValue: 0
}
});
// n:m relation between users and studies
User.belongsToMany(Study, {through: 'UserStudy'});
Study.belongsToMany(User, {through: 'UserStudy'});
// Overridden 'addUser' method for groups assignment
Study.prototype.addUser = async function(user) {
// Count already occupied seats
const seatsTaken = await User.count({
include: [{
model: Study,
where: {
name: this.name
}
}]
});
// Add the user to study
await Study.associations.users.add(this, user);
// Assign the group of the user based on the seatsTaken
await user.update({ group: groupLists[this.name][seatsTaken] });
}
sequelize.sync({force: true}).then(async () => {
// Studies 'A' and 'B' with 4 seats
await Study.bulkCreate([{name: 'a', seatsTotal: 4}, {name: 'b', seatsTotal: 4}]);
// 8 users
await User.bulkCreate(new Array(8).fill(0).map(() => ({})));
const studies = await Study.findAll();
const users = await User.findAll();
// Assign half of the users to study 'A' in intervals
users.filter((_, idx) => idx % 2 === 0).forEach((user, idx) => {
setTimeout(() => {
studies[0].addUser(user);
}, 100*idx);
});
// Assign the other half to study 'B' at the same time
await Promise.all(users.filter((_, idx) => idx % 2 === 1).map(user => {
return studies[1].addUser(user);
}));
setTimeout(async () => {
// Wait for all queries to finish and assert the results
const userStudies = await User.findAll({
include: [Study]
});
const studyUsersA = userStudies.filter(u => u.studies.some(s => s.name === 'a'));
const studyUsersB = userStudies.filter(u => u.studies.some(s => s.name === 'b'));
try {
console.log('Group list A actual:', studyUsersA.map(u => u.group), 'expected:', groupLists['a']);
assert.deepEqual(studyUsersA.map(u => u.group).sort((a, b) => a-b), groupLists['a'].sort((a, b) => a-b), 'Group list A is not assigned correctly');
console.log('Group list B actual:', studyUsersB.map(u => u.group), 'expected:', groupLists['b']);
assert.deepEqual(studyUsersB.map(u => u.group).sort((a, b) => a-b), groupLists['b'].sort((a, b) => a-b), 'Group list B is not assigned correctly');
console.log(`Passed: Group lists are assigned correctly.`);
} catch (e) {
console.log(`Failed: ${e.message}`);
}
}, 500);
});
Смежные вопросы, которые я могу найти, касаются либо увеличения одного значения в одной таблице, либоони просто упоминают транзакции и блокировки, не предоставляя пример кода:
Как избежать состояния гонки с помощью Nodejs Sequelize
Как заблокировать таблицу в sequelize, подождать, пока другой запрос будет выполнен
Оператор присваивания и вычитания с Sequelize
Условия гонки базы данных
Ограничения:
- Стек проекта -
nodejs, expressjs и sequelize с базой данных mysql для производства и sqlite для разработкиlopment и тесты. - Решение должно работать как для
sqlite, так и для mysql. - Желательно, чтобы списки групп не сохранялись в базе данных.Списки генерируются алгоритмом и семенами рандомизации, но в коде примера они жестко закодированы.
- Решение должно быть решением сиквелиза, а не дросселированием или очередями пользовательских запросов на экспресс-сервере.
- В случае одновременных запросов строго не требуется, чтобы точный порядок регистрации пользователей сохранялся, поскольку на самом деле невозможно проверить, какой пользователь был добавлен в исследование первым, но конечный результат должен иметь правильное число
0 с и 1 s, которые являются назначенными группами. - Я пытался секвестировать транзакции, но у меня было много проблем с совместимостью с sqlite, а также с ошибками экспресс-запросов из-за блокировок базы данных, но это могло быть из-за моего недостатка знанийо том, как сделать это правильно.Здесь ограничение заключается в том, что запросы не должны завершаться сбоем из-за блокировок базы данных.
Приведенный код является минимальным примером, воспроизводящим проблему.Пожалуйста, используйте его в качестве основы.
Для запуска кода
npm install sequelize sqlite3 mysql2
sqlite:
node index.js
mysql (с помощью докера):
docker run -d --env MYSQL_DATABASE=database --env MYSQL_USER=username --env MYSQL_PASSWORD=password --env MYSQL_RANDOM_ROOT_PASSWORD=yes -p 3306:3306 mysql:5.7
DB_DIALECT=mysql node index.js
Примечание:
- Пример кода предназначен только для демонстрации проблемы в текущей реализации, а интервалы и тайм-ауты служат для имитации взаимодействия пользователей с сервером.Пожалуйста, не сосредотачивайтесь на шаблонах в примере, которые являются неправильными, а скорее сосредоточьтесь на самой проблеме и на том, как к ней можно подойти лучше, отвечая требованиям, указанным в разделе ограничений.
- Это частьдовольно большой проект, и я мог бы обновить требования на основе фактических требований проекта и отзывов, которые я получаю здесь.
Пожалуйста, дайте мне знать, если я должен предоставить какую-либо другую информацию.Заранее спасибо.