Монастырь расположился на высоком берегу реки Лужи (приток Протвы), на вершине «Особной горы», иначе называемой Чёрным Острогом. Отсюда и название монастыря. Монастырь стал «свидетелем» Малоярославецкого сражения. Его Голубые ворота сохранили следы ожесточенных боев.