Kaštieľ postavili na mieste stredovekého vodného hradu, jednoduchej vežovitej stavby obohnanej vodnou priekopou. Koncom 19. storočia ho prestavali podľa vzoru francúzskych barokových kaštieľov do podoby dnešného monumentálneho renesančného vzhľadu. Koncom II. svetovej vojny bol kaštieľ poškodený a skazu zavŕšil požiar v roku 1946, pri ktorom zhorela šindľová strecha. Túto neskôr provizórne opravili, ale s úplnou rekonštrukciou budovy sa začalo až v roku 1964 a trvala sedem rokov. A tak dnes môžeme v jeho priestoroch opäť obdivovať prácu a zručnosť remeselníkov a umelcov zo Slovenska i Európy. V súčasnosti sa v ňom nachádza Vihorlatské múzeum s umelecko-historickou a prírodovednou expozíciou.
Kaštieľ sa nachádza pri severnom konci námestia Slobody. Najbližšie je možné parkovať na koncoch ciest Gorkého a Mierová, ktoré končia pri námestí Slobody. Kaštieľ je zo severného okraja námestia ľahko viditeľný.