Вы не первый кто с этим столкнулся, но в сети пока нет вразумительного ответа (быстрый поиск их не выявил).
Это точно не нехватка памяти, тогда другая ошибка. Попробуйте изменять настройки рендера: размер плитки, тип трассировки (path или branched) и т.д.
Ну и совсем советы для галочки: последняя версия драйверов и блендера :)