Die Bibliothek ist die älteste Kultur- und Bildungseinrichtung in der Stadt Weinheim.
Bereits im Jahr 1841 ging dem Gemeinderat eine Bücherstiftung eines Weinheimer Bürgers zur Gründung einer "städtischen Bibliothek" zu - daher der Name Stadtbibliothek.
Ein regelmäßiger Bibliotheksbetrieb begann nach mehreren vergeblichen Anläufen erst mit der Gründung des Volksbüchereivereines im Jahr 1907. Nach dem zweiten Weltkrieg übernahm die Stadt Weinheim im Jahr 1949 die restlichen Buchbestände des aufgelösten Volksbüchereivereins.
Seit dieser Zeit gab es viele Veränderungen wie Einstellung von Fachpersonal, Einführung digitaler Medien, Umstellung der Arbeitsabläufe auf EDV, Gründung (1968) und Schließung (2010) einer Zweigstelle in der Weststadt und Umzug der Hauptstelle (1985) in die zentral gelegene, umgebaute Diesterwegschule.
Im Jahr 2018 feierte die Bibliothek ihr 111-jähriges Bestehen.