Rodzinie Ulmów urodziło się sześcioro dzieci: Stanisława (ur. 18 lipca 1936 r.), Barbara (ur. 6 października 1937 r.), Władysław (ur. 5 grudnia 1938 r.), Franciszek (ur. 3 kwietnia 1940 r.), Antoni (ur. 6 czerwca 1941 r.) i Maria (ur. 16 września 1942 r.). Małżonkowie pogłębiali swoją wiarę poprzez rodzinną modlitwę i udział w życiu parafii w Markowej, należeli m.in. do Bractwa Żywego Różańca. Po wybuchu II wojny światowej Józef został zmobilizowany i brał udział w kampanii wrześniowej 1939 r. Podczas okupacji niemieckiej zaangażował się w pomoc Żydom. Prawdopodobnie w drugiej połowie 1942 r. przyjął pod swój dach ośmioro żydowskich uciekinierów z rodzin Goldmanów/„Szallów”, Grünfeldów i Didnerów. Pomógł także jeszcze innej żydowskiej rodzinie wybudować ziemiankę w pobliskim lesie, a następnie zaopatrywał jej mieszkańców w
żywność. Po pewnym czasie ziemianka została odkryta przez Niemców, a czworo ukrywających się w niej Żydów (trzy kobiety i dziecko) zostało zamordowanych. Fakt udzielania przez Ulmę pomocy uciekinierom nie wyszedł wtedy na jaw. Pozostałych ośmioro Żydów ukrywało się w gospodarstwie Ulmów do wiosny 1944 r. To wtedy Ulmowie zostali zadenuncjowani przez współpracującego z niemieckimi okupantami tzw. granatowego policjanta Włodzimierza Lesia, który wcześniej zagarnął majątek rodziny Szallów i zamierzał pozbyć się jego prawowitych właścicieli.