Rezydencję w Lesku wznieśli ostatni przedstawiciele możnego rodu Kmitów, porzucając swoją dotychczasową siedzibę - średniowieczną warownię na Górze Sobień. Drewniany dwór obronny istniał tu już w XV w. W XVI w. został zastąpiony murowanym zamkiem, budowanym intensywnie po 1538 r. przez ostatniego z rodu - Piotra Kmitę, choć jego główną rezydencją pozostawał Nowy Wiśnicz, położony znacznie bliżej Krakowa. Piotr - marszałek wielki koronny i wojewoda krakowski, wystawił w Lesku wieżę mieszkalną i dwukondygnacyjne skrzydło. Zostały one rozbudowywane w większe założenie już po jego śmierci w 1553 r., za sprawą spadkobierców dóbr leskich z rodu Stadnickich. Dobudowali oni do wieży kolejne skrzydło mieszkalne a następnie - w poł. XVII w. - przekształcili je w obronne założenie na planie czworoboku, otoczone murami, basztami i bastejami.
Pomimo walorów obronnych zamek padł dwukrotnie łupem Szwedów w wieku XVIII, pozostając długo w stanie dalekim od kwitnącego. Odbudowany po 1765 r. staraniem nowego właściciela - Józefa Ossolińskiego, został jednak strawiony przez pożar w 1783 r. W ostatniej dekadzie XVIII w. pozostawał malowniczą ruinę, którą jednak postanowił zrewitalizować kolejny, pełen fantazji właściciel dóbr leskich - Ksawery Krasicki. Misję odbudowy powierzył zaprzyjaźnionemu poecie Wincentemu Polowi, który przekształcił zamek w stylową rezydencję o cechach klasycystycznych, zawierającą w sobie starsze elementy i ozdobioną wydatną basteją. Prace ukończono dopiero w 1838 r., kolejne prowadzono już jednak po kilkudziesięciu latach, odbudowując rezydencje po zniszczeniach I wojny światowej. Ponownie zdewastowany w czasie kolejnej wojny, został zamek odremontowany w latach 50., z przeznaczeniem na ośrodek wypoczynkowy - funkcję taką pełni i dziś.
Otoczony jest obszernym parkiem, dziś mocno już przetrzebionym, w którym umieszczony został widowiskowy amfiteatr.
Obiekt znajduje się przy zielonym szlaku z Zagórza do Zwierzynia.