清道光19年（1839年），时任浏阳知县胡芝房（字泰阶）巡视文家市，问及山水，遂勘址文昌宫，倡议将其扩建成文华书院。乡绅刘大馥、甘崇勋、陈番庶、刘大镛、李南雅等当即呈请募建，发印册募集钱款数千缗、田数顷。清道光21年（1841年），文华书院竣工。
清咸丰元年（1851年），临生彭万成同前诸君子复多方劝募，又增田二顷，募集钱款二千缗，征购周边民房隙地添建斋房数十间，对院中堂殿楼阁依次重新加以修葺，文华书院初具规模。
清同治3年（1864年），又募资在西斋前面新建成祀奉关帝的武庙，形成书院文武相配的独特格局。
清同治8年（1869年），又募款重新修缮大成殿，新刷丹漆，在大成至圣先师孔子神位左右新增制四配十哲神位，以供书院师生祀奉。
清光绪31年（1905年），废除科举，文华学院改变学制。
清光绪34年（1908年），文华书院改为”文华小学堂”，始授新学。
清宣统元年（1909年），文华书院改为里仁学堂。
