„Ja pochodzę z wielodzietnej rodziny – mówił Duda-Dziewierz
w programie telewizyjnym w 1971 r. – Było nas 12 synów. Ojciec był nauczycielem wiejskim pod Skierniewicami, w takiej małej wiosce –
w Puszczy Mariańskiej. Urodziłem się tam gdzieś w końcu ubiegłego wieku.
Antoni pochodził z rodziny o korzeniach robotniczych i szlacheckich.
Jego dziad był górnikiem ze Śląska. Na działce gruntu, którą posiadał, odkrył złoża węgla kamiennego. Wydobycie tego surowca pozwoliło mu poprawić zarówno swój byt materialny, jak
i zrealizować kształcenie obydwu synów.
Ojciec, Stanisław Duda-Dziewierz vel Duda (ur. 1854 r.) został w 1873 roku nauczycielem wiejskim pod Skierniewicami (jego brat pozostał
w Sosnowcu). Nauczał kolejno: w Starej Rawie, w Bełchowie koło Nieborowa, od 1896 r. w Puszczy Mariańskiej, następnie w Warce, Powsinie i we wsi Boczki koło Łowicza. Odznaczał się wielkim przywiązaniem do wartości narodowych. Był bardzo ceniony
w swoim otoczeniu za prowadzenie patriotycznej edukacji dzieci, krzewienie języka polskiego i ducha narodowego.
Matka, Leokadia Maria z d. Szymanowska urodziła się w 1852 r.,
w rodzinie szlacheckiej w okolicach Poznania. Oboje rodziców utraciła za udział w powstaniu styczniowym 1863 roku, a ich posiadłość rząd carski skonfiskował. Przez dalszą rodzinę oddana została na wychowanie do zgromadzenia sióstr w Poznaniu, gdzie przebywała do pełnoletności. Znajomość dwóch obcych języków umożliwiła jej pracę w charakterze bony w majątku państwa Orsettich w Nowym Dworze.
W 1875 r. Leokadia i Stanisław zawarli ślub w Starej Rawie. Po kolei na świat przyszło 12 synów. Najstarszy syn – Adam, ur. w 1879 r. został księdzem, Tadeusz – również księdzem, Mieczysław – krawcem, Bolesław – nauczycielem, Zygmunt – lekarzem. Część braci zmarło
na szkarlatynę. Antoni był najmłodszym synem, urodzonym w 1896 roku.