Самая старая часть города представлена Кисловодской крепостью. С этой крепости начинался город и курорт Кисловодск.
Остатки Кисловодской крепости – ворота, часть стены с бойницами, угловая башня – относятся к середине XIX в. Первая крепость на этом же месте, возведенная в 1803 г., была довольно примитивным укреплением, окруженным валом и рвом. Позже внутри появляются каменные строения: пороховой погреб, казармы, дома для приезжих. При наместничестве М. С. Воронцова в середине XIX в. крепость перестраивали. Кисловодская крепость являлась образцом русского фортификационного искусства.