В середине XVIII века на территории Малого города вдоль бровки Прямского взвоза было построено два небольших каменных здания - гауптвахта и аптека. В пожаре 1788 года эти два здания и стоявший рядом Наместнический дворец сильно пострадали. В 1820-х г. г. петербургским архитектором Давидом Висконти был разработан план восстановления сгоревших зданий. При этом дворец Наместника превращается в здание губернских присутственных мест (наместничество было упразднено в 1799 г.), а на месте аптеки и гаупвахты был запроектирован служебный корпус. После постройки этого корпуса в нем разместилась губернская судебная палата. В XX веке здание подверглось значительной перепланировке. В настоящее время часть здания используется как выставочный зал ТГИАМЗ. После реконструкции и реставрации основной части здания в нем разместятся художественные и реставрационные мастерские, а также кафе-буфет.