A Bács-Kiskun Megyei Katona József Megyei Könyvtár elődjének, Kecskemét th. Város Könyvtárának létrehozása egy 1894-es állami határozathoz kötődik, melyben megbízták az Országos Múzeumi és Könyvtári Bizottságot egy vidék felé irányuló könyvtár- és múzeumszervezési feladattal. Kecskemét th. Város Tanácsa Kada Elek polgármester javaslatára élt a könyvtár alapítással járó magas állami támogatással és 1897-ben határozatot hozott a nyilvános könyvtár létesítéséről, amely még szervezetileg nem különült el a múzeumtól és a levéltártól. A Szilády Károly levéltáros szervezte könyvállomány jórészt a városi törvényhatóság már használaton kívüli történeti és jogi könyveiből állott.

1899-ben a tanács rendeletben határozta meg a könyvtár fenntartására és gyarapítására szolgáló javadalom összegét, melynek fedezetére évi rendszeres államsegélyt kapott. Az alapbeszerzési terv szerinti szempontok a következők voltak: magyar nyelvű művek, Kecskeméttel kapcsolatos művek és néhány fontos tudományterület – történelem, jog, statisztika, gazdaság -, szótárak, klasszikus világirodalmi alkotások fordításai. A könyvek nagy részét a Magyar Tudományos Akadémia, a Franklin Társulat és az Atheneum Rt. kiadványaiból szerezték be. A fokozatos gyarapodás miatt egyre nagyobb lett a könyvtár helyigénye, az ideiglenes elhelyezés miatt megoldatlan volt a nyilvánossá tétel is.
1906-ban a Városháza földszinti galériáját – eredetileg múzeumnak szánták – rendezték be könyvtárnak. 1911-ben Szilády Károlyt nevezték ki a könyvtár és múzeum igazgatójává és ekkor felvetődött a könyvtárépítés szükségessége is.
A könyvtár tulajdonába került nagy értékű hagyatékok a tudományos képet erősítették: a még 1899-ben megvásárolt Pesty Frigyes történettudós és író többnyire német nyelvű jogi és szépirodalmi fordításokból álló könyvei, az 1923-ban megszerzett halasi református lelkész, irodalomtörténész Szilády Áron felbecsülhetetlen értékű keleti kéziratokból és régi magyar nyomtatványokból, régi magyar könyvekből – 1711 előtt készült könyvek, melyek könyv- és kultúrtörténeti ritkaságok! – , valamint saját műveiből álló gyűjteménye, 1924-ben dr. Horváth Mihály kecskeméti országgyűlési képviselő könyvtára, valamint az ajándékként az állományba kerülő, többnyire idegen nyelvű Podmanitzky-féle Stréter János gyűjtemény. Ezen nagy értékű, történetiségük és könyvművészeti szépségük miatt is ritka könyvekre 1930-ban még csak korlátozott könyvtári nyilvánosságot engedélyeztek, helyben használatra is alig volt lehetőség.
Szilády Károly halála után, 1934-ben Garzó József majd 1937-ben Szabó Ambrus lett a könyvtár vezetője. Ő készítette el ebben az évben a könyvek teljes leltározását, melynek eredménye 21.222 db mű 39.000 kötetben.
Az 1940-es évek háborús pusztítása pótolhatatlan veszteséget okozott a könyvtár állományában: elégett a Régi Magyar Nyomtatványok és a Régi Magyar Könyvtár ritka kincsű, az egész magyar kultúra egyetemes értékű alkotásai közé sorolt dokumentumok szinte teljes egésze.
1996-ig a könyvtár egyik belső raktárában tárolták a gyűjteményt.
A könyvtár 1996-ban átadott új épületében méltó helyére került a Történeti Gyűjtemény teljes állománya az épület második emeleti galériáján. Jelenleg az intézmény alapításától kezdve – a háborús pusztulásból megmaradt – 1947-ig beszerzett, mintegy 20 ezer dokumentum tartozik a gyűjteménybe.
A gyűjtemény korlátozottan nyilvános, tehát a dokumentumokhoz csak a munkakörileg megbízott könyvtárosok férhetnek hozzá. Az állomány speciális, nagyságrendi raktározási rendet követ. A Történeti Gyűjtemény dokumentumainak szolgáltatása a Helyismereti gyűjteményben történik, nyitva tartási időben, állandó felügyelet mellett. A szolgáltatást a beiratkozott olvasók kérőlappal vehetik igénybe.

A Történeti Gyűjteményben megtalálhatóak a régi városi könyvtár eredeti kézzel írott leltárkönyvei, gyarapodási naplói, a beszerzéssel kapcsolatos egyéb jegyzetek. A raktári lapok nagy része is őrzi még a korabeli könyvtárosok kézírását. A gyűjtemény feltárásához eredetileg egy szintén kézzel írott betűrendes és tárgyszavas katalógust használtak, valamint egy, könyvtárszakmai szempontból is érdekességnek számító, speciális katalógus-kartondobozokban tárolt cédulagyűjteményt, amely az állomány tartalmi feltárását biztosította.

A Történeti Gyűjtemény állományának kézírásos katalóguscédulái mindmáig az erre a célra készített eredeti, a városi könyvtárral körülbelül egyidős katalógusszekrényben találhatóak.
A muzeális dokumentumok közül az 1800 előtt kiadott hungaricumok külön, szintén e célra készített négy darab üvegajtós szekrényekben nyertek elhelyezést.

22/2005. (VII. 18.) NKÖM rendelet a muzeális könyvtári dokumentumok kezelésével és nyilvántartásával kapcsolatos szabályokról elnevezésű jogszabály alapján a Történeti Gyűjteményben 1443 db muzeális értékű dokumentumot őrzünk. Ide az 1851 előtt Magyarországon vagy külföldön megjelent hungaricumok tartoznak.

Miután a kutatók számára ma is nélkülözhetetlen gyűjtemény számos értékes darabja az évek során megrongálódott, a könyvtár kiemelt feladatának tekinti ezek megóvását, restaurálását. A könyvtár épületében található kötészeti műhelyben is több könyv és időszaki kiadvány fizikai állapotán javítottak a szakemberek. Ugyanakkor az elmúlt években pályázati források segítségével sikerült jelentős számú művet a könyvtári szolgáltatásra alkalmas fizikai állapotúvá tenni. Ilyen volt például az alábbi két antikva:
Szathmár-Németi Mihály (1638-1689)
A’ négy evangelisták szerént való dominica avagy az Ur Jesus Cristustúl praedikáltatott, és Ő Felségéről irattatott historiáknak, régen vasárnapokra rendeltetet evangéliomi leczkéknek, praedikatiokban való magyarázattya… [Nyomtatott szöveg] / Szath. Nemethi Mihály . – Kolosváratt : Veres-egyházi Mihály által, 1675. – [28], 732[834!] p. ; 8° (19 cm)
Restaurált, kapcsos, fatáblás bőrkötésben. – A címlap, és több helyütt a lapok pótoltak. – RMK I. 1179. -
Muzeális értékű dokumentumok közül:
Czeglédi István (1620-1671)
Már minden épületivel s-fegyveres házaival edgyütt, el-készült, Sion vára… [Nyomtatott szöveg] / mellyet … idvezült Czegledi Istvan … éltében fel-rakott és el-végezett volt … ; mostan penig, hólta után … ki-bocsáttatott, Köleseri Sámuel … által. – Sáros-patakon ; Colosvárat : Rosnyai Jan[os] által, 1675. – [30], 655, [64] p. ; 8° (20 cm)
Restaurált bőrkötésben, tokban, a kötet mellett a hiányzó lapokról kiegészítő füzet.
Az antikvák mellett restaurálásra kerültek azok a dokumentumok is, melyek a helytörténeti kutatás szempontjából kiemelt fontossággal bírnak: a Tudományos Gyűjtemény évfolyamai, illetve a Kecskeméti Nagy Képes Naptár 20. századi, de gyakran forgatott kötetei.