Mi incolleresti qua il risultato di questo speedtest: http://proof.ovh.net/ ? (una volta terminato troverai il tasto "Condividi")
Puoi, per test, provare a vedere se il problema si verifica anche sul nostro server pubblico (voice.team-speak.it)?
Controlla inoltre che il codec della stanza in cui sei sia "Opus Voice" e non music.