Tussen de 13de en 15de eeuw maakte de organisatie een onstuimige groei door met duizenden (betalende) leden. De geschiedenis van de Zwanenbroeders loopt regelmatig parallel met die van ons land en spelen nationale gebeurtenissen een rol van betekenis. Neem bijvoorbeeld de Reformatie. Vanouds waren de Zwanenbroeders van katholieke signatuur die zich vooral op Mariaverering richtte. Voorts financierden zij priesters, lieten missen lezen, gaven kunstenaar opdracht tot het verfraaien van hun kapel in de St. Jan te Den Bosch of gaven componisten de opdracht missen te componeren. De wereldberoemde kunstschilder Hieronymus Bosch maakte deel uit van dit genootschap.

Tijdens de 16^de eeuw verandert dit om in de 17^de eeuw, na de inname van Den Bosch in 1629 door prins Frederik Hendrik, onder druk der omstandigheden ook protestantse broeders in hun midden toe te moeten laten. Alhoewel lang niet alle Zwanenbroeders dit accepteerden, overleefde de organisatie deze crisis. Het bezorgde de Zwanenbroeders zelfs het predicaat de eerste oecumenische gemeenschap van ons land te zijn. Wel hielden de katholieke broeders de traditie van requiemmissen voor overleden broeders gaande, maar dit gebeurde buiten de gereformeerde leden om. Vele notabelen van Den Bosch maakten deel uit van de Zwanenbroeders en gaat het lidmaatschap van vader op zoon over. Die traditie leeft nog altijd.