“色目”一词见于唐代，意为“各色名目”，亦称姓氏稀僻者为色目。元政府将治下的人民分为蒙古人、色目人、汉人、南人四等，实行种族歧视政策，在选用官吏以及科举、刑罚上都有所差别。蒙古人地位最为优越；次为色目人；再次为汉人（包括契丹、女真、高丽等族）；最后为南人，即南宋遗民。色目人来自西域及中国西北各族，其中包括哈剌鲁、钦察、唐兀、阿速、秃八（即秃伯歹）、康里、畏吾儿、回回、乃蛮、阿儿浑、撒耳柯思、斡罗思、汪古、甘木里、怯失迷儿等。