Недавно я заменил устаревший веб-сайт на более современный, созданный с помощью react. Сайт отображается должным образом, если доступ к нему осуществляется через URL-адрес и некоторые поисковые системы, такие как dogpile и duckduck go. Однако поисковые системы, использующие индексацию, этого не делают. Я подумал, что это проблема с индексированием, однако, когда я зашел в инспектор URL-адресов Google, чтобы запросить переиндексацию, Google не может получить страницу. Инструменты для веб-мастеров Bings делают нечто подобное, время ожидания прекращается через несколько секунд. На сайте есть файл robots.txt, который позволяет все (хотя я тестировал его без файла, и он ведет себя одинаково). Я разместил тот же контент на другом сервере с другим доменом, и тогда у Google не было проблем с его получением. Я также заменил index. html только некоторым текстом, и он по-прежнему ведет себя таким же образом (404 через поисковую систему, отображает текст, когда вы нажимаете Enter на URL-адресе). И текущий сайт, и старый сайт имеют индекс. html на серверах root (его cpanel public_ html каталог), но все остальные страницы были только что полностью удалены (что, как я понимаю, не идеальный способ сделать вещи), поскольку новый сайт представляет собой одностраничное приложение. Я не могу ссылаться на сайт, так как это чей-то бизнес-сайт.