In 1483 laat Gijsbertus van der Poorten, lid van de Broederschap, zijn pand ‘De Pauw’ aan de Hinthamerstraat na aan de Broederschap. In zijn testament stelt hij de voorwaarden dat zijn huis gebruikt moet worden voor de samenkomsten van de leden en dat er jaarlijks een maaltijd moet worden aangericht ter aankweking van de onderlinge band van de broeders. Ook moet periodiek in de Sint Jan een H. Mis worden opgedragen ter nagedachtenis aan de overleden leden. Dit gebeurt nog tot de dag van vandaag.

De naam Zwanenbroedershuis verwijst naar de titel Zwanenbroeder, die tegenwoordig nog alleen gebruikt wordt voor de koninklijke leden van de Broederschap, maar teruggaat op een ouder gebruik. Omdat in de late Middeleeuwen het recht om zwanen te houden voorbehouden is aan de adel, treft de titel Zwanenbroeder aanvankelijk de niet-geestelijke leden die door hun afkomst en welstand aanzien verschaffen aan de Broederschap en hiervan blijk geven door tijdens de broederlijke maaltijd zwaan op te dienen.

Het oorspronkelijke Zwanenbroederhuis stort in 1839 deels in. Twee van de luiken zijn bewaard gebleven en te zien in het Zwanenbroedershuis. Dankzij giften van leden, waaronder een aanzienlijke bijdrage van Koning Willem II, wordt op dezelfde plek in de jaren 1846 en 1847 het nu in gebruik zijnde huis gebouwd. Het wordt ontworpen door J.H. Laffertée, architect en docent aan de kunstacademie van Den Bosch. De inrichting van de Grote Zaal is naar ontwerp van de Bossche L.C. Hezenmans, tekenaar, schilder en restauratiearchitect. Zowel qua exterieur als interieur is het een zeer vroeg voorbeeld van neogotiek in Nederland; misschien niet geheel verbazingwekkend de stijl die Willem II erg aansprak. Het inmiddels rijksmonumentale pand fungeert eveneens als museum.