Почетком 19. века на север Бачке, далеко од Дунава, почињу се насељавати Мађари, а пре њих су овде долазили и Немци. Један од Мађара који је овде нашао свој дом у тадашњој колонизацији био је и Имре Ковач, богаташ, који је 1801. године купио властелинство Риђицу, чиме је добио племићки статус и предикт „од Риђице“, односно «Риђички». Наравно, властелин је морао имати и свој каштел, односно дворац. Овај који се налази у центру Риђице зидао је градитељ из Баје, по имену Бишоф, уз кулук (присилни рад) свих подложника на имању, а завршен је и усељен 1806. године.
Дворац се састоји од 16 просторија, од којих су три биле дворане, а остало споредне просторије. Дворац, који је подигнут на површини од 26 јутара и 47 хвати земље, опасан је зидом од цигала, два метра висине и 70цм дебљине. Иза дворца подигнут је диван парк у енглеском стилу, кроз који протиче речица Киђош, а око њега је формиран енглески парк по пројекту пејзажисте Фрање (Франтишека) Хитера из Чешке.
Дворац је зидан као слободно стојећи спратни објекат који се налази на узвисини изнад Киђоша. Зграда је конципирана у духу позног барока као компактан спратни објекат правоугаоне основе, са наглашеним централним ризалитом у коме је смештен репрезентативни улаз са алтаном у приземљу. Кордонски и поткровни венац хоризонтално деле спрат и приземље, а пета фасада је наглашена троугаоним ризалитом и посебним кровиштем централног ризалита (овај део је накнадно порушен). Донедавно су се на острвцету на Киђошу могли видети остаци старијег дворца који је подигнут пре Ковачевог, а сада се виде само трагови зарушеног камења. Господар овог дворца је сазидао и један мањи дворац, 1836. године, и он је сачуван, у непорсредној близини постојећег, а у њему се донедавно налазила сеоска библиотека.
У документима је забележено да је власник имао замисао да створи један раскошан властелински замак који ће бити надалеко чувен и познат, и који ће посећивати не само властела него и угледни политички и културни посленици, што се кроз његову историју и догађало, као што каже један савременик, «то је требала бити нека врста племићког гнезда». Зграда је зидана у маниру позног барока, готово на прелазу према цопфу. Његова унутрашњост је била раскошна, имала је велику библиотеку, уметничка дела на разним језицима, географске карте, портрете и слично. Овде је Ковач организовао лов са преко 300 хајкача-кметова и 10 кола, по северу Бачке и Барањи, где је имао своје имање. Дворац су посећивали калочки надбискуп Петар Клобушицки, грофови Радвањи, Иштван Карољ, Лајош Кошут, Ласло Ђери и многи други.
Зграда се једно време користила као месна канцеларија, у њој је одржавана настава техничког цртања риђичким основцима, а парк је претворен у игралиште и спортски бетонски терен (на коме је своје утакмице играо рукометни клуб „Далматинац“, будући да је Риђица насељена колонистима из Далмације). Данас је Дворац породице Ковач напуштен, већ деценијама је потпуно запуштен. Зграда је у врло лошем стању и потребно је извршити озбиљне грађевинске радове да би се вратила репрезентативност и првобитни изглед објекта. Вандали су га опљачкали и потпуно девастирали. Ишаран је графитима и све је поломљено. Служи за скупљање хулигана. Оштећен је велики део крова, врата и прозори су разваљени, па је пропадање тако незаштићеног здања убрзано. Град Сомбор је „Каштел“ преузео 2017. године у већ вишедеценијском рушевном стању и ништа до сад није урадио по том питању. Због тога је Удружење грађана „Гвоздени мост“ из Риђице упутило писмо челницима града Сомбора са молбом да се хитно заустави даље пропадање каштела. Они траже да се предузму неопходне мере да се обезбеди објекат који представља опасност по безбедност грађана, али уједно предлажу и његову обнову. Дворац грофа Имреа Ковача је проглашен културним добром.