Палата Илион подигнута је у периоду од 1836 до 1848. године као боравиште Јосифа Рајачића, митрополита карловачког (1842–1848), каснијег патријарха српског (1848–1861). Данашњи изглед је добила 1920. године. Но, зграду је барон Рајачић откупио од фамилије Миоковић-Хаџи, и реновирао је 1856. по плану артитекте Сидека из Беча. Он је унео елементе рококоа, и овим изменама она је добила изглед летњиковаца из времена Јосифа II.
Према свом архитектонском концепту палата Илион представља јединствен пример урбане стамбене палате. Гледано из свих праваца, палата доминира својим габаритима и велелепним изгледом над околним грађевинама. Терен на којем је смештен објекат са вртом, благо се спушта од југа ка северу, па према улици има сутерен са два нивоа, високо приземље, спрат и поткровље.
Поседује две опречне фасаде. Улична фасада са стране данашње Улице Патријарха Рајачића изгледа као фасада било које богатије куће, са колском капијом, која је посебан објекат, где се испод округлог тимпанона налази и грб Рајачића. Изнад средњег прозора на централном делу фасаде, готицом пише «Илион». Прозори на мансарди имају овалне оквире са украсима, као и шалукатрама.
Сасвим је другачија фасада према дворишту, која гледа ка Железничкој улици. Ту је некада био прелепи парк, који је уништен и претворен у травњак. У дворишту палате налази се чесма Патријарховац, посвећена Богојављењу, изграђена је 1864. године. Основа зграде је у облику великог слова „Т“ чији средњи крак није симетричан и прекратак је у поређању са главним правоугаоним делом основе. Фасада у приземљу има три испада, а средњи део је крунисан кровом на шест вода и доминира фасадом.
Данас је зграда претворена у Градски музеј Сремских Карловаца са етнолошком збирком предмета, собом и кухињом са краја 19. века. У музеју се налази етнолошка збирка предмета, са собом и кухињом са краја 19. века. Последњи радови на санацији зграде изведени су 2007. године.
Дворац Илион је отворен за посетиоце музеја.