榉溪村位于大盘山北麓，古称桂川、榉川，四周群山环绕，山川秀丽，环境幽奇。全村现共有360户，计1130人，全部姓孔，为江南孔子后裔最大的聚居地。孔氏家庙位于榉溪村中部，始建于南宋宝祐二年（1254），榉溪孔氏始祖孔端躬原籍山东曲阜阙里，系孔子四十八代孙，自幼聪颖好学，登进士第，宣和三年（1121）授承事朗，任大理寺评事，持事洁白，谳狱恕平，吏畏其威，人怀其惠。宋建炎间，端躬及世袭衍圣公端友遭金乱扈驾南渡，后端友寓居衢州，端躬安家于婺之榉川。据《榉川孔氏家谱》载：“惟婺祖端躬公，官居大理事评事，乃由台抵婺至永之榉川，见其山高水长，泉香土沃，弃华衮之荣而优游自乐，屋于钟山之下而居焉，此南北之所由分而三派之所自始也。”