Zámek v Hraběšíně byl vystavěn až po roce 1622, kdy se ves stala samostatným statkem, který náležel Adamovi Studeneckému z Pašiněvsi. Šlo o nevelkou jednopatrovou budovu s mansardovou střechou zachovanou dodnes ve hmotě budovy. V roce 1658 se stal zámek majetkem sedleckého kláštera a  byl využíván k letnímu pobytu členů konventu. Památkou na tuto dobu je socha Jana Nepomuckého umístěná nad vstupním portálem zámku. Po zrušení kláštera byl Hraběšín prodán knížeti Karlu Filipovi ze Schwarzenberka, který ho přeměnil na lovecký zámeček. Na konci 19. století  byl upraven na myslivnu. Po roce 1989 byl zámeček v restituci vrácen původním majitelům Schwarzenberkům.