Похоже, вам нужно найти учебник по основам проектирования реляционных баз данных. Независимо от типа приложения, которое вы разрабатываете, вы должны начать с него. Узнайте, как работают объединения, индексы, первичные и внешние ключи и т. Д. Узнайте о базовой нормализации базы данных.
Не принято создавать новые таблицы на лету в приложении; это обычно не нужно в правильно разработанной схеме. Обычно изменения схемы выполняются во время развертывания. Единственный раз, когда «пользователи» получают свои собственные таблицы, это артефакт решения о предоставлении, в котором каждый «пользователь» фактически является арендатором в огороженном саду; это имеет смысл только в том случае, если каждому «пользователю» (скорее всего, компании или организации) никогда не требуется доступ к чему-либо, что было сохранено другими пользователями в системе.
Существуют механизмы для работы со слабо структурированными типами информации в базах данных, но если вы обнаружите, что часто достигаете этого (самый распространенный метод называется Entity-Attribute-Value), ваша проблема либо не совсем правильно смоделирована, на самом деле вам может не понадобиться реляционная база данных, и в этом случае лучше использовать документно-ориентированную базу данных, например CouchDB / MongoDB.
Добавление на основе ваших обновленных комментариев / заметок:
Ваши опасения по поводу количества записей в конкретной таблице, скорее всего, преждевременны. Получите что-то работающее в первую очередь. Большинство современных СУБД, включая более новые версии MySql, поддерживают механизмы помимо индексов и кластеризованных индексов, которые могут помочь в работе с большим количеством записей. Например, в MS Sql Server вы можете создать функцию разбиения по полям таблицы; MySql 5.1+ имеет несколько похожих опций разделения, основанных на хэш-функциях, диапазонах или других механизмах. Следуйте устоявшимся соглашениям по проектированию баз данных, максимально разумно моделируя свой домен, а затем адаптируйтесь, когда сталкиваетесь с проблемами. Сначала настройте, используя инструменты, доступные в выбранной вами базе данных, затем рассмотрите более радикальные меры только тогда, когда вы сможете доказать, что они необходимы. Существуют другие виды денормализации, которые, скорее всего, будут иметь смысл, прежде чем вы даже захотите подумать о том, чтобы иметь нечто столь же однотипное для систем баз данных, как модель «таблица на пользователя»; даже если бы я посмотрел на этот маршрут, я бы сначала рассмотрел что-то вроде материализованного представления.