Первоначально все постройки были деревянными, и по главному храму пустынь именовалась Борковской Николаевской. После пожара в середине XVIII века пустынь в 1764 г. упразднили. Однако уже в следующем году она была возобновлена «тщанием» астраханского епископа Мефодия, уроженца Холуя, который тогда же (1765) на свои средства выстроил теплый каменный храм Троицы.
В 1774 г. сооружен летний каменный соборный храм, получивший название Троицкого, а теплый был переименован в Казанский (в связи с этим с 1787 г. пустынь стали называть Борковской Троицкой).
В 60-70-е гг. XVII в. из кирпича построены одноэтажный настоятельский корпус и ограда с тремя воротами и башнями на углах. В 1853 г. пустынь сделали общежительной и в ней возвели (до 1868) братский корпус и ряд хозяйственных построек, над настоятельским корпусом надстроили второй деревянный этаж, а к собору пристроили новую трапезную.
На рубеже XIX-XX веков соорудили новую монастырскую ограду, а в северной части территории, неподалеку от ворот, поставили еще один жилой корпус, возможно использовавшийся как гостиница.