五桂山镇居民委员会在镇政府东南0.4公里处，驻桂祥苑生活小区内。始建于1987年6月，因地处镇中心区内，故名。居委会驻地曾三度搬迁，成立之初，随镇政府驻南桥石莹桥村；1993年随新镇址搬迁至石鼓马槽村，驻政府大院；2003年移驻今址。驻址办公面积120平方米，设有办事厅、办公室、会议室。居民委员会管理五桂山镇桂祥苑生活小区及机关、事业单位非农业人口，负责办理居民的有关行政事务。2005年11月，撤镇设办事处，五桂山居委会改置为社区居民委员会，有居民户62户，316人，其中男性195人，女性121人。
历任居委会负责人有：陈北坤、陈少权、周硕华、吴从垠、杨少雄、廖容初等。
五桂山社区与桂南村、长命水村、龙石村、南桥村相邻。
五桂山社区附近有中山逍遥谷、长江水库、五桂山茶趣园、翠竹林漂流乐园、龙珠茶园、五桂山等旅游景点，有中山脆肉鲩、神湾菠萝、中山杏仁饼、黄圃腊味、三沙花木等特产。