Quello che conta è l'ampiezza, non il traffico.
Per 600 persone ci vogliono circa 2'100 kB/s d'ampiezza di banda, il vantaggio dei server dedicati (o vps, sempre server sono) è che hanno la banda full-duplex quindi in caso di saturazione di un verso l'altro non ne risente con strozzature.
Se aumentando la qualità del codec aumenta anche il problema è evidente che è la banda, non mi concentrerei sul resto. Un pensiero per un vps da 2€ al mese lo farei.