Seit Ende des 13. Jahrhunderts bestand in Rottweil eine Lateinschule, die in der Zeit des Frühhumanismus unter dem Rektorat von Michael Röthlin (Rubellus) bedeutende Humanisten und Reformatoren wie Heinrich Glarean, Valerius Anselm, Berthold Haller, Oswald Myconius und Melchior Roth gen. Vollmar zu ihren Schülern zählte. Der heute noch vorhandene Bestand an Büchern aus dem frühen 16. Jh. spricht dafür, dass die Rottweiler Gymnasialbibliothek in derselben Zeit entstanden ist.
Im 17. und 18. Jh. übergab die Stadt die Schulleitung verschiedenen Ordensgemeinschaften, zunächst von 1630 bis 1638 den Dominikanern, dann von 1652 bis 1671 den Jesuiten, von 1673 – 1691 den Benediktinern und ab 1692 bis 1773 erneut den Jesuiten. In den Jahren 1639 bis 1651 musste wegen der durch den Dreißigjährigen Krieg bedingten finanziellen Notlage der Stadt der Gymnasiumsbetrieb eingestellt werden. Als Lateinschule mit zwei Schulmeistern konnte die Schule jedoch weiterbestehen.
Der Bestandsaufbau lässt sich anhand der vorgefundenen Besitzeinträge rekonstruieren. Unter der Leitung der Jesuiten gelang dabei eine derart große Bestandsvermehrung, dass man seither von einer bedeutenden Bibliothek sprechen kann. Zwischen den einzelnen Niederlassungen der Jesuiten fand ein reger Buchhandel statt, wie zahlreiche Besitzeinträge der Rottenburger oder der Münchner Jesuiten bezeugen.
Am 21. Juli 1773 wurde der Jesuitenorden durch den Papst aufgehoben. Die unmittelbare Folge war, dass die Stadt Rottweil als neue Schulträgerin eingesetzt wurde. Die ehemaligen Jesuiten wurden jedoch als Lehrer weiterbeschäftigt. 1796 wurde dem Gymnasium ein akademischer Oberbau hinzugefügt, so dass das Abschlusszeugnis der Rottweiler Schule zum Besuch des Bischöflichen Seminars befähigte. Das bedeutete eine Ausweitung des Lehrgegenstands auf alle theologischen Disziplinen.
Die Kollegsbibliothek kam 1773 ebenfalls in den Besitz der Stadt und wurde so vor der Säkularisation bewahrt, die zu Beginn des 19. Jhs. alle Ordensbibliotheken betraf. Im Zuge der Säkularisation fand jedoch eine Umstrukturierung der Schule statt, die aus dem Kolleg wieder ein normales Gymnasium machte, das dann 1817 württembergisch staatlich wurde.
1854 fand der Umzug in das Obere Gymnasium statt, das allerdings für die Bibliothek zu wenig Platz bot und auch nur ungeeignete Räume zur Verfügung stellte. Deshalb wurden im Jahr 1869 2.000 Bände theologischen Inhalts an das Tübinger Wilhelmstift abgegeben. Trotz aller widrigen Umstände gelang es jedoch, die Bibliothek im 19. Jh. erheblich zu vergrößern. Hierbei ist besonders die Stiftung des Rottweiler Gymnasialprofessors Franz-Xaver Lauchert zu erwähnen, der 1868 seiner Schule 719 Bde. überließ.
Mit dem 1938 erfolgten Umzug in das heutige Gebäude war das Problem der sachgerechten Aufstellung noch nicht gelöst. Die Kriegsbelegung des Schulgebäudes und die spätere Entnazifizierung des Bestandes brachten neue Umzüge und Verluste mit sich. Aktuell sind die Bestände der Alten Gymnasialbibliothek im ehemaligen ‚Kohlenkeller’ lichtgeschützt und in trockener Umgebung untergebracht. Nach und nach wurden die noch vorhandenen Holzregale durch Metallregale ersetzt. Der Zugang zur Bibliothek ist alarmgesichert.
Der Altbestand umfasst ca. 5.000 Titel in etwa 11.000 Bänden, von denen 4743 vor 1900 erschienen sind. Dazu kommen 11 Inkunabeln und einige Handschriften.
Die Bibliothek fungiert als wissenschaftliche Archivbibliothek unter dem Bibliotheks-Sigel Rtw1 ist sie an den DLV angeschlossen. Als Präsenzbibliothek ist ihre Benutzung nach Absprache mit dem Custos möglich.