Ciao,
la soluzione è quella da te citata, l'uso del permesso b_client_skip_channelgroup_permissions che serve proprio per evitare che un gruppo canale vada ad annullare i permessi del gruppo server.
Non capisco perchè non dovresti usarlo, non viene concesso nessun permesso aggiuntivo, anzi, come te stesso hai detto agli utenti basta uscire dal canale per "riottenere" i permessi che dovrebbero avere.
Lo skip è da applicare ai gruppi server. Mettendo lo skip permetti quello che lo staff può già fare normalmente fuori dalle stanze in cui sono channel admin anche all'interno delle stanze stesse.