直隶献县（今属河北）人，原名守清。回族。东北讲武堂毕业。曾在东北军中任团长。九一八事变后，不满蒋介石的不抵抗政策，毅然弃官回乡。抗日战争全面爆发后，组织“回民义勇队”，抗击日本侵略军。1938年率部参加八路军，同年加入中国共产党。历任回民教导总队总队长、冀中回民支队司令员、冀鲁豫军区第三军分区兼回民支队司令员，率部转战于冀中和冀鲁豫平原。