徐州市第二中学的前身为明、清时期徐州的最高学府——徐州府学宫（文庙）。
徐州府学宫，亦称黉学、孔子庙学。徐州学宫始建于宋代，毁于元末兵灾。明朝初年为振兴文教，重建徐州学宫，知州文景宗将学宫“移建城东北”（徐州二中现址），“明洪武二年（公元1369年）秋八月孔子庙学成”，从此成为明清两代徐州的最高学府。历代当权者深知“人才之兴衰，视乎学校之隆替”，为“兴贤育才”，多次拨款修复，名宦贤达也都捐资相济，巍巍府学，得以延续发扬。
清末民初，新学兴起。清政府光绪二十七年（公元1901年），设为学堂；此后先后设为乙种师范、甲种师范；公元1923年，设为铜山县县立师范（含师范、中学两部）；公元1938年，设为徐州市立中学；公元1945年，设为铜山县县立中学；公元1948年12月徐州解放后成立徐州市第二中学。
从明洪武二年（公元1369年）徐州学宫在此重建算起，徐州市第二中学至今已有645年的文化传承和连续办学的历史，培养出了大批的文人志士、学者人才。
六百多年来，徐州教育传承和文化脉络一直在这里延续。作为徐州教育文化变迁的永恒载体和我国独特的“庙学合一”文化现象的承载者，徐州二中始终注重发挥文化遗产的积极作用，用六百年来源远流长、传承不断的文脉，滋养、营造着新时期的书香校园。
