回山村位于新昌县西南部，距县城49公里。俗称余商，是回山镇最大的行政村。现有耕地1328亩，山林1899亩，茶园637亩。回山村的老屋依坡而建，择吉而居，顺应自然，落差达50米，从高墩往下看，错落有致的黑瓦楞屋顶、风火墙，就形成了一副别有风致的水墨画。回山村四面山丘迤逦，多条涧坑流进，村庄处于四围山水之中，故名回山。回山古时还有一个好听的名字“彩烟”。居住的多数是杨姓人家。元至清属彩烟乡，民国二十四年属回山乡（镇）至今。2004年6月，回山村和姜岙村合并，村委驻地在回山村，现有17个村民小组，1759人。
回山村与王家市村、上市场村、上下西村、顶山村、官塘村、高湾村、柘前村、宅下丁村、大宅里村、屯外村、下岩村、上下宅村、岭岙村、岭山村相邻。
2020年12月4日，回山村入选2020年浙江省卫生村名单。
2019年12月31日，国家林业和草原局公布第二批国家森林乡村名单，回山村榜上有名。
2016年12月9日，回山村被列入第四批中国传统村落名录。
回山村附近有回山建筑群、新昌大佛寺、穿岩十九峰景区、新昌丝绸世界旅游区、天姥山风景名胜区等旅游景点，有大佛茶、新昌白术、新昌小京生、平水珠茶、兰亭水蜜桃等特产。