Проблема в том, что компонент ошибки присутствует на всех маршрутах.
Попробуйте это:
Добавьте отчет об ошибке 404:
<Route path='/404' component={error} />
Направить все несопоставленные маршруты к нему:
<Redirect from='*' to='/404' />
Это должно показать компонент ошибки только на страницах, которые не существуют.
Вот переключатель, который делает это:
<Switch history={history}>
<Route exact path="/" component={place}/>
<Route path="/about" component={otherplace}/>
<Route path='/404' component={error} />
<Redirect from='*' to='/404' />
</Switch>