A házaspár tagjai a legendák szerint kalandos körülmények között ismerkedtek meg. A mohácsi csatavesztés után kialakult zűrzavaros időkben vagy nem volt királyunk, vagy kettő is akadt. A főurak valóságos magánhadseregeket tartottak fenn, egyéni érdekeik szerint váltottak pártállást, és nem riadtak vissza az erőszaktól sem. A Podmaniczky fivérek a kor jellegzetes alakjai voltak, élen jártak a birtokszerzésben és rettegésben tartották a környéket. 1543 őszén már egészen a zsolnai fenyvesekig portyáztak, ahol két csapatra osztották fel erőiket. Rafael bizonyult szerencsésebbnek, kifosztotta a vásárra igyekvő kereskedőket, és már indultak haza a jelentős zsákmánnyal, amikor belefutottak egy lengyel nemes kíséretébe. Lekaszabolták a katonákat, az ifjú nemest súlyosan megsebesítették, a nővérét pedig foglyul ejtették váltságdíj reményében. Ez a lengyel leány lett a Podmaniczky testvérek végzete, ugyanis mindketten szerelmesek lettek a gyönyörű Jadwigába. János az idősebb jogán magának követelte öccse foglyát, de Rafael nem engedett, ezért párbajra mentek. Hosszasan vívtak, végül Rafael kivédte fáradó bátyja fejvágását és szíven szúrta fivérét. A szörnyű tett után átállt Ferdinánd király oldalára, akitől a hűsége fejében bűnbocsánatot nyert. Hála Jadwiga gondos ápolásának felépült az ifjú nemes is, és a hálás lengyel leány – akit a magyarok Jankának hívtak – feleségül ment a közben egyre nagyobb birtokokat szerző Rafaelhez. A királytól kapott adományok közé tartozott Palota vára is, itt élt a Podmaniczky család egy ideig, majd idővel visszaköltöztek vágbesztercei birtokukra. A palotai erősséget ekkor Rafael az ekkor már országos hírnévnek örvendő Thury Györgyre bízta, őt 1554-ben említik először a palotai vár provizoraként. Thury György sikerrel vert vissza több török támadást is, a Dunántúl oroszlánjaként emlegették ellenfelei. Rafael 1558-ban elhunyt, halálával a Podmaniczky birtokok a királyi kincstárra szálltak vissza. Thury kapitány is le akart mondani a tisztségéről, mondván, hogy ő a Podmaniczky családnak esküdött fel. Hiába győzködte a királyi biztos, csak azután maradt a posztján, miután Podmaniczky Rafael özvegye felmentette adott szava alól.