黄巷，据志书记载，是因晋永嘉年间八姓“衣冠南渡”中的部分黄姓后裔聚集而得名。黄楼则传为后人对黄璞退隐居所的尊称。

    永嘉年间是北方汉人入闽的一个高潮，这是中原地区人民的第一次大规模南迁福州，也是闽越人与中原汉人第一次融合，从而推动了福州地区经济、文化的日益发展。仅黄楼就名流荟萃，历史上可圈可点的人物除黄璞之外，有陈寿祺(著名教育家、记名御史，林则徐、梁章钜老师)、梁章钜(江苏巡抚、两江总督等)、赵新(中国最后一代琉球国正使，梁章钜女婿)等。

    小黄楼得名如今主要有两种版本。民间故事传的是，黄璞少年读书的祖居旧屋为小黄楼，中年当官之后盖起了一座藏书楼，因涂抹黄颜色而称黄楼。

    另一种版本为官道，清道光年间，时任江苏巡抚的福州人梁章钜返榕“养疴归田”住进黄楼，出资修葺旧居小楼，终成西花厅，后人称之为小黄楼；又在楼东邻建“东园” ......