Pierwsze wzmianki o tutejszym księgozbiorze sięgają roku 1322. Przez wieki cennych wielojęzycznych tomów uzbierało się 67 tysięcy, z czego do dziś przetrwało niespełna 20 tysięcy. W 1950 roku, gdy klasztor zamieniono w miejsce internowania zakonników z całego kraju, komuniści zniszczyli większość kolekcji, wyrzucając książki przez okno i paląc je na broumowskim rynku.
Na balustradzie balkonu umieszczono portrety profesorów z benedyktyńskiego gimnazjum, wśród nich opata Jakuba II Chmela, który kazał odnowię bibliotekę w roku 1792. Fresk na suficie jest dziełem malarza Jana Karla Kovářa. Z jednej strony widnieje na nim scena nauczania Chrystusa w świątyni i napis "W nim jest wszelka wiedza i mądrość ukryta", z drugiej - Przemienienie Pańskiego na górze Tabor i napis "Jego słuchajcie".