Если это игра про реалистичное разрушение дома — когда каждый кирпичик обрабатывается физическим движком — тогда такое количество полигонов оправдано. Вот только физические движки требуют много ресурсов CPU/CUDA, так что достаточно большой дом будет сильно тормозить симуляцию.
Если же это игра типа GTA, в которой сотни домов, то, конечно, полигонов должно быть как можно меньше — игрок не будет рассматривать каждый дом, несясь по улице под 200 км/ч, а лишняя детализация этих домов будет зря тормозить игру.
Если же действие игры происходит только в этом доме, но дом не будет реалистично разрушаться — тогда делать каждый кирпичик не нужно было, достаточно было наложить текстуру с bump или normal map и displacement, и тогда кирпичи выглядели бы реалистично и объёмно, хотя на самом деле стена состоит из одного квадрата.
В общем случае последний вариант наиболее предпочтителен для любых игр. Но не расстраивайся, что делал лишнюю работу — с помощью этой высокополигональной модели можно сделать необходимые текстуры для низкополигональной, чтобы она выглядела максимально реалистично.