Ti segnalo che tra le impostazioni documentate dal "Jitsi club" (che
avevo linkato nelle settimane scorse; h/t Carlo Piana su twitter)
parlano proprio del limitare i feed agli "N" attivi più di recente:
https://jitsi-club.gitlab.io/jitsi-self-hosting/en/01-deployment-howto/03-tuning/#recommended_limit_number_of_video_feeds_forwarded

Sembra essere una funzionalità messa a disposizione anche da Jitsi.