金世宗大定15年（1175年），山西祁县知县傅弼始建学宫于城南街东巷，即小东街之羊市坡，到明世宗嘉靖二年（1523年），巡按御史王秀檄县令杨本源将学宫改建于城西南隅一座荒废的佛寺内。改建时完全按照文庙一般规格：中为大成殿五间，东西两庑各七间廊房，殿之前为戟门三间。戟门两旁建名宦祠、乡贤祠各三间，以南建棂星门，门外竖木坊二座，名“兴贤”、“育才”。当时的督学周宣曾为文记其事。至此，祁县文庙便初见规模。如今，祁县文庙以及与文庙仅一墙之隔的昭馀书院，同处山西省最著名的高级中学之一--祁县中学院内，祁县中学的前身昭馀书院，清康熙十二年（1637年）创建于明代社学旧址，光绪二十八年（1902年）改为祁县小学堂，光绪三十一年（1905年）改为祁县中学，迄今已有近百年的历史。祁县文庙大致轮廓尚保存完好，现仅存有泮池、状元桥、大成门、大成殿、东西两庑等建筑，为山西省级重点文物保护单位。文庙的东西两庑的30间房屋内，今辟为“祁县中学校史展览馆”每天上课期间对学生开放，游客也可以进校参观。文庙的左侧，仅一墙之隔的昭馀书院，坐北朝南，院中的大部分建筑已被拆除，旧址修建杏坛书院图书馆，延续书院之功用。原建筑还剩一座院门和一座讲堂，讲堂前檐已被改造过，但是梁架尚且保存原样，现为学校宿舍。