Да и овај дворац буде окруњен језовитим и мистериозним причама, потрудили су се Тополчани. Наиме, постоји и легенда о клетви која је бачена на породицу Крај. Легенде кажу следеће: „Након погибије војсковође Пала Краја у Пешти, његов син, такође војсковођа, Ференц је одлучио да напусти војску да га иста судбина не би задесила. Вратио се кући својој мајци, сестри, жени и сину. Међутим, војничка крв му није дала да напусти оружје, па је одлучио да крене у лов. Сео је у кочије са својим омиљеним ловачким псом и кренуо. Док је путовао ка ловишту играо се са псом који је шапом закачио ороз пушке, и пушка је опалила. На врх године дана од погибије Пала Краја погинуо је и његов син, под сумњивим околностима, будући да је био војсковођа за пример, коме се овакве две грешке нису смеле догодити, да држи незакочену пушку и да је поврх тога окрене према себи. За разлику од оца и деде, Пал Крај Млађи није волео оружје већ коње, био је најбољи и најмлађи јахач у то доба. Није било таквог противника који је са својим коњем могао да га престигне. На једној трци његов коњ се пред сам циљ у последњој кривини саплео и пао, несрећом на свога младог газду и усмртио га. За само три године, страшна клетва је сустигла три Пала Краја, а поврх свега угашена им је лоза.» Није познато из којих разлога је на Крајеве бачена клетва, али су се богати људи оног доба лако могли замерити својим делима некоме на нижим положајима. Историја каже да је Јанош Крај био унук Пала Краја и да се борио у «Пролећу народа» за Угарску, а против Аустријанаца, Румуна, Срба и Хрвата, те да је 1849. заробљен од стране румунских чета, одведен у Темишвар где је и умро. У сваком случају, мушка лоза је угашена, а наследница је била Марија Крај која се удала за Јаноша Зичија (János Zichy), те се од тог тренутка каштел спомиње као Зичијев каштел, што се да видети на старим разгледницама.