A könyvtár története a múzeum megalapításával egyidős, Wosinsky ennek alapjait is lerakta. Állománya majdnem egészében ajándékozás útján gyűlt össze az alapító, valamint gróf Apponyi Sándor, báró Jeszenszky László és György valamint több más – Tolna megyében akkoriban ismert – személyiség adományaiból. A Múzeumok és Könyvtárak Országos Főfelügyelősége által biztosított pénzbeli segítség lehetővé tette a legszükségesebb régészeti és numizmatikai munkák, alapvető folyóiratok, akadémiai kiadványok beszerzését. A múzeum megnyitásakor a könyvtárat az emeleti nagyteremben a képtár és szoborgyűjtemény társaságában, tíz nagy szekrényben helyezték el. Külön helyiséget kapott – a földszinti oldaltermet – a vármegyei levéltár iratanyaga. Az 1901. évi múzeumi állomány nyilvántartásában együtt szerepel az “emlék és könyvtári osztály” 2342 darabbal. A könyvtárosi teendőket Haugh Béla, a könyvtári osztály őre látta el. Könyvtárhasználati szabályzatot készített, amely rögzítette, hogy a könyvtárat “bármely művelődésre törekvő egyén” díjtalanul használhatja: helyben olvashat, vagy kellő garanciák mellett kölcsönözhet. Az eligazodást cím szerinti betűrendes, szak- és raktári katalógus segítette. Az általa összeállított és 1904-ben kiadott könyvtári katalógus 2189 kötetet tartott nyilván.
Az 1905. évi jelentésből tudjuk, hogy a múzeumot 1905. június 15-től 1906 májusig zárva tartották, mert az emeleti termek fenyő gerendáit – azok korhadása miatt – kicserélni kényszerültek. Ezzel egyidejűleg a termek átrendezésére is sor került, így a könyvtárnak a nagyteremből való átköltöztetésére is. A főfelügyelőség az egyik volt néprajzi termet jelölte ki e célra, “mert a könyvtárnak a nagyteremben való elhelyezése célszerűtlen, azt ott bővíteni, az erre szükséges tér hiányában nem lehet”. A Múzeumok és Könyvtárak Országos Felügyelősége a múzeum nagytermét 100 darab ülőszékkel és két hosszú olvasóasztallal látta el, valamint “vasszerkezetű nyílt állványokat” rendelt a könyvek részére. Az új könyvtártermet egy korláttal két részre – könyvkiosztó és olvasó területre – bontotta. Bevezették a villanyt az egész épületben.
Wosinsky halála (1907) után az igazgatói teendők ellátásával rövid időre Dőry Pál vármegyei alispánt bízták meg, őt az év végén Kovách Aladár követte. A könyvtári osztály őrének Tolnai Arthur főgimnáziumi tanárt nevezték ki. A múzeum igazgatósága a vallás- és közoktatási miniszterhez folyamodott, hogy Wosinsky Mór hagyatékából elsősorban keletről hozott tárgyai és könyvtára, államköltségen megvásárolhatók legyenek. A miniszter 1500 koronát ajánlott fel azon művekért “melyek a múzeum könyvtári czéljaira alkalmasak”.
1911-ben a Múzeum az Egyesület kezdeményezésére és pártfogásával munkásgimnáziumi tanfolyamot szervezett, és ennek hallgatói részére külön kis könyvtári részleget hozott létre a Múzeumok és Könyvtárak Országos Tanácsa által ajándékozott 226 kötettel. Hetenként kétszer volt könyvkiosztás.
Az 1907-1945 közötti irattári anyag megsemmisült, mivel a múzeum hadikórházként működött. Az épület és berendezése, valamint az összegyűjtött tárgyi anyag – köztük a könyvek – súlyos károkat szenvedett. A kiállítótermeket hosszú ideig gabonaraktárnak használták. Jelentősebb gyarapodás 1945 után a vagyonelkobzással sújtott, Tolna megyei földbirtokos családok könyvanyagának a múzeumban történő elhelyezése révén következett be. Az épület helyreállítása, részleges felújítása csak 1957-ben kezdődött meg. A központi fűtést 1978-ban vezették be. A könyvtár elhelyezésére 1961-ben került sor a földszinten, a keleti oldalon, szűk alapterületen. A könyvek jelentős része az irodákban elhelyezett polcokon tárolódott. 1961-1976 között csatolt munkakörben látta el mindig más – változó sikerrel – a könyvtárosi feladatokat, amely a későbbiekben számtalan nehézséget okozott a szakember számára. 1976. január 1-jétől sikerült fő állású könyvtárost alkalmazni.
1981-ben a földszinten lévő kiállító terem “feláldozásával” 72 m²-es könyvtárterem létrehozására, berendezésére került sor. 1990-től folyamatosan törekedtünk a berendezés megújítására: székek, asztalok cseréje, új függönyök, folyóirat tároló polc, a világítás modernizálása. Az első internetes számítógépünk is itt került elhelyezésre, nyomtatóval együtt. A nyugodt olvasási lehetőségek mellett a múzeumi rendezvények, munkahelyi megbeszélések helyszínévé vált a könyvtár. A könyvtárral szemben lévő folyosón helyezkedik el a zárt könyvraktár.
A külön gyűjtemények (Garay János, Babits Mihály, Baka István) az 1967-ben megnyitott Babits Emlékházban kaptak helyet, Mészöly Miklós könyveinek egy részét a 2005-ben átadott Irodalom Háza Mészöly Miklós Múzeumban mutatjuk be. Esze Tamás könyvgyűjteménye a vármegyeházán külön helyiségben, régi könyvanyagunk zöme “A régi vármegyeháza világa” című kiállításban, valamint a könyvtárteremben került elhelyezésre.
Gyűjtőkör: régészet, történelem, helytörténet (Tolna megye), néprajz, muzeológia általában, múzeumi kiadványok, restaurálás, művészet, iparművészet, a megyéhez kötődő írók művei. Az Esze Tamás könyvtárban a leggazdagabb anyag a Rákóczi-szabadságharcra vonatkozó és a vallástörténeti szakirodalom.
A központi könyvtár állománya: 18.524 egység (2012. december 31.). Esze Tamás könyvtár: 3750 egység. Külön gyűjtemények: 5448 egység. Régi könyvanyag (1500-1800): 562 egység. A megrendelt folyóiratok száma: 25.
A legrégibb magyar nyelvű könyvünk a Bécsben 1626-ban kiadott Szent Biblia. A legértékesebb darab egy Franciaországban készített 14. századi, kézzel írott és festett hóráskönyv (imádságos könyv).