Его жена Александра Кузьминична Белоусова (урожденная Лунева) с тремья детьми - старшим сыном Виктором и дочерьми Тамарой и Нелли перебралась в эвакуцию в Туркмению, где в городе Байрамали жил ее брат Сергей. Позже семья переехала в Ташкент Узбекской ССР.
В 1995 году семья Виктора Белоусова переехала в город Саратов. Представитель четвертого поколения потомков Семена Ивановича Белоусова - праправнук Виктор Сергеевич Портнов родился в Саратове в октябре 2013 года.