Трудно ответить, не видя твою книгу.
Скорее всего, не диаграммы (это то, что вы называете «графиками») замедляют процесс пересчета, а неэффективные формулы.
Проверьте источники данных диаграммы. Если они указывают на ячейки таблицы, то все хорошо. Если они указывают на именованные диапазоны / именованные формулы, то проверьте, что это за формулы.
На пересчет влияет
- изменчивые формулы, такие как Today (), Now (), Indirect (), Offset () и некоторые другие
- неэффективные формулы, которые без необходимости повторяют вычисления, которые уже были выполнены, как правило, выполняются в промежуточных итогах
И пример этого будет
= Сумма (A $ 1: A2) скопирована, как на этом скриншоте

В каждой строке вычисление начинается в строке 1 и продолжается до текущей строки. Это пустая трата усилий.
Гораздо более эффективная формула находится в столбце C, где к значению текущей строки добавляется только значение из строки выше.
=SUM(C1,A2)

Эти детали могут иметь огромное значение.
Для получения дополнительной информации вы можете обратиться к сайту Чарльза Уильямса http://www.decisionmodels.com/calcsecrets.htm и ссылкам на него оттуда.
Это сложный вопрос, и, вероятно, его нельзя решить простым ответом на казалось бы простой вопрос.