Как вариант для готовых объектов сделать отдельную коллецию и скрывать ее, как правило это помогает убрать нагрузку на ГПУ. Если это не помогает, то видимо все упирается в оперативную память (скрытием тут не поможешь, все загружено в ОЗУ) и тут я бы посоветовал разделить сцену на разные сцены (.blend файлы). И перед рендером просто добавлять объекты или ссылки на них (читать про File -> Link/Append).
