瑞石楼于1923年兴建，工程历时3年，于1925年落成。瑞石楼的始建人黄璧秀，号瑞石。他和儿子黄畅兰（长子）、黄赐兰（次子）一起在香港经营药材铺和钱庄，事业成功。20世纪初，社会治安不好，盗贼横行。当时五十九岁的黄璧秀因父母和妻子在家乡居住，为了家人的安全，不惜投入三万多港币的巨资，筹建家居碉楼。楼建成后，以自己的号命名，并请当时广东省有名的大书法家、广州六榕寺主持铁禅大师题写了“瑞石楼”三个大字。瑞石楼高9层28.37米，占地92平方米，钢筋混凝土结构。瑞石楼是由在香港谋生、爱好建筑艺术的黄璧秀侄儿黄滋南设计的，钢筋、铁板、水泥、玻璃、木材等主要建材均从香港进口。瑞石楼由于坚固可守，又居高临下，还配备有探照灯、铜钟和枪械，成为了该村的保护神。
