胡贼"班军而还”的原因是

原文中只说是“胡贼”,没有明确说是匈奴吧.
原因是他们被荀巨伯对病友的情义感动,同时自惭形愧,认为“我辈无义之人,而入有义之国”,所以撤走了,不过这个故事恐怕可信度不太高.
《世说新语》原文：
荀巨伯远看友人疾,值胡贼攻郡,友人语巨伯曰：“吾今死矣,子可去!”巨伯曰：“远来相视,子令吾去,败义以求生,岂荀巨伯所行邪!”贼既至,谓巨伯曰：“大军至,一郡尽空,汝何男子,而敢独止?”巨伯曰：“友人有疾,不忍委之,宁以吾身代友人命.”
贼相谓曰：“吾辈无义之人,而入有义之国.”遂班军而还,郡并获全.