以驻地瑶山得名。地处丘陵，海拔70-120米。汉族。村沿山带状分布。主姓胡、方，1961年由淳安县新安乡西庙村移民于此。原名缸窑，一名荷坞，后雅称瑶山。
瑶山村，总人口493人，165户，分为四个小组。全村共有耕地480亩，山地600亩。08年人均收入5100元。本村以种植苗木为主。
瑶山村与上圩头村、岩头村、横路祝村、下杨村、方坦村、官村村、张王村、童家村、槐王村、项家村、高仙塘村、新建村、十里铺村、唐尧村相邻。
2020年12月4日，瑶山村入选2020年浙江省卫生村名单。
瑶山村附近有方坦窑址、白洋垅窑址群、龙游民居苑、龙游石窟、龙天红木小镇等旅游景点，有龙游乌猪、志棠白莲、龙游小辣椒、龙游发糕、金棠黄花梨等特产。