江南知曉了這一切后勃然大怒，他直接找到山上的那名天驕少年一家，要討要說法，鬧到族中掌事那里，掌事忌憚那名天驕的家承，直接將江南逐出山上。母子二人回到一貧如洗的家中，江南決心成為家中支柱，但天驕少年一家不滿江南大鬧，再次給望云鎮中的地方鄉紳施壓，雖然整個望云鎮都知曉是江南一家得罪了山上人，但也無可奈何地遵行，至此江南一家在望云鎮中日益受到冷落，全鎮族民都將其視為瘟神一般，更有甚者因為山上名額的丟失而遷怒他們，時不時地就向江南家丟石頭。