По некоторым сведениям, в 1812 году здесь размещался французский штаб.
Дворец вице-администратора, замкнувший западную сторону площади, состоит из трех отдельных корпусов, образующих небольшой парадный двор. Средний корпус трехэтажный, боковые одноэтажные. В архитектуре здания, построенного в последней трети XVIII в., прослеживаются черты раннего классицизма с соответствующим архитектурным декором. Внутренняя планировка и оформление интерьеров относятся к более позднему времени. В XIX в. был перестроен фасад дворца, упростивший художественное решение комплекса.