S prvním manželem, hudebníkem Rohanem, se herečka rozvedla po tříletém manželství. Předtím ho ale ještě pořádně potrápila, protože se zamilovala do kolegy z pražského vinohradského divadla Zdeňka Řehoře (†74). „Byla to velká láska, chtěla jsem s ním žít,“ vyznala se v knize Jiřina Švorcová osobně herečka. „Přiznala jsem se doma Jindrovi. Zachoval si klidnou hlavu. Nechal mě, počkal, až to odeznělo,“ dodala Švorcová.
Rozváděla se až kvůli dalšímu kolegovi z branže, Jiřímu Valovi (†76). Ten jen tak neodezněl. I když ho prý v době, kdy chodil se Švorcovou, svedla Jiřina Jirásková, trval vztah s různými přestávkami osm let. Herečka hodně trpěla. „Vraceli jsme se k sobě a zase se rozcházeli. Bylo to bolestné,“ vzpomínala Švorcová.
V roce 1970 se konečně dokázala od Valy odtrhnout a vzala si malíře Vladimíra Šoltu. Právě jeho otec postavil honosnou vilu na pražské Ořechovce, kde Švorcová až do odchodu do nemocnice bydlela. Tchán byl inženýr, ředitel podniku, a za patent získal slušné peníze, za něž dům těsně před válkou postavil. Nyní vilu po sestře zdědil herec Václav Švorc (92), jeho syn Jan (62), dvě vnučky a čtyři pravnoučata.
