Aussenseiter, Ausgrenzung