Vanaf 1384 komt het vrij regelmatig voor dat er een zwaan geschonken wordt voor de maaltijd van de gezworen broeders; dit loopt uit in een jaarlijkse traditie. De gezworen broeders vormen de kern van de broederschap, het zijn allen clerici, dat wil zeggen zij moeten de kruinschering gehad hebben. Dit houdt niet in dat zij priester waren. Velen hadden een lagere wijding gehad en waren getrouwd.

Op een gegeven moment werd de behoefte gevoeld om rijke en invloedrijke personen meer bij de Broederschap te betrekken, zonder de verplichting van de kruinschering. Deze nu werden Zwanenbroeders. Zij waren het meestal die de zwanen voor de jaarlijkse maaltijd leverden. Het aantal zwanenbroeders is altijd beperkt geweest. Twee zwanenbroeders zijn ook afgebeeld. De figuur helemaal rechts is graaf Floris van Egmond. De familie Van Egmond was een belangrijke schenker van zwanen. De uiterst linkse figuur is Willem van Oranje. Aan het feit dat de vader des vaderlands zwanenbroeder was, is het te danken, dat de Broederschap na 1629 ondanks heftige tegenstand van gereformeerde kant, kon blijven voortbestaan. Bepaald werd wel dat de helft van de leden protestants moest zijn. Het totale ledental was beperkt: 36 personen. De liturgische activiteiten werden stopgezet; de liefdadigheid vond doorgang.