Тормоза появляются только в режиме текстур. В режиме solid многомилионная сцена ведёт себя нормально.
Может есть какой параметр в настройках который решает проблему? Например типа как OpenGL Occlusion Querries в Selection заметно ускоряет переключение между объектами.