Perchè le persone possano comunicare tra di loro devono essere tutte nello stesso server, ovviamente con il server offline non ci si può incontrare, ecco perchè quando hai spento il server avviato nel tuo pc anche tutti gli altri si sono disconnessi.
Una buona alternativa sarebbe quella di acquistare un vps dove installare un server di teamspeak o prendere in affitto degli slot da qualche rivenditore.