Pôvodne ho tvorila gotická bloková stavba s nárožnými vežami strážiaca cestu a most cez Laborec. Celkový vzhľad hradu zmenila najskôr renesančná prestavba, pričom jeho súčasná podoba je výsledkom klasicistickej prestavby z 19. storočia. Výrazným architektonickým prvkom priečelia je arkáda s balkónom na poschodí.
V parku kaštieľa odkryli v rámci Slovenska najvýchodnejšie situovanú rotundu z čias Veľkomoravskej ríše.
Objekt je v súčasnosti sídlom Zemplínskeho múzea dokumentujúceho vývoj prírody, spoločnosti a umenia tejto oblasti od najstarších čias. Osobitne cenným exponátom je amfora z bronzovej doby s najstarším vyobrazením dvojkolesového voza v strednej Európe. V etnografickej expozícii sú zdokumentované produkty pozdišovského hrnčiarstva.