龔賢故居又名掃葉樓，位于南京市鼓樓區清涼山南麓、清涼山公園西南角，為畫家龔賢清初（1664-1689年）在南京的隱居之處，掃葉樓之名得自于龔賢所繪身著僧衣、持帚掃地的自畫像。龔賢去世后故居成為清涼寺寺產，清咸豐時毀于太平天國戰亂，現存建筑為光緒十五年（1889）奉敕重建，1901年、1914年和1979年多次重修。現為龔賢紀念館，陳列有龔賢書畫作品的復制品及與其有關的書籍。亦有研究認為龔賢故居應在清涼臺東北、今虎踞關一帶，此處則為某掃葉僧人所居。

掃葉樓始建于1664年，明清式樣，磚木結構，覆小瓦，三層，建筑面積約400平方米，占地面積約270平方米，樓前翠竹婆娑，綠樹掩映，平臺遠望，樓后庭院內假山層疊，與善慶寺前石階結合一體。善慶寺亦明清式樣，建筑面積329.7平方米，占地面積630平方米。1989年重新修復掃葉樓時將樓后庭院與善慶寺連成一體，成為一組結構完整、景致優雅的古建筑群。

龔賢，明末清初著名畫家和詩人，山水畫造詣卓越，被推為“金陵八家”之首，著有詩歌《草香堂集》等；晚年定居此處，并以屋旁余地半畝建園，栽花種竹，名“半畝園”，曾自寫小照，著僧服，作掃落葉狀，因名所居為掃葉樓。此樓前后三進，陳列著龔賢作品的摹品和復制品、當代書法家所書龔賢的詩作及一些畫展作品，樓前可見嵌在壁間的由林散之所書的“龔賢故居”刻石，院落簡樸大方，處處體現著主人與世相忘，潛心書畫的書香氛圍，置身閣樓佇聽風雨聲，你會有一徑風聲飛落葉，六朝山色擁重樓的震顫。當年，龔賢曾這樣介紹過自己的居所：清涼山上有臺，亦名清涼臺。登臺而觀，大江橫于前，鐘阜枕于后，左有莫愁，勺水如鏡，右有獅嶺，撮土若眉。余家即在此臺之下。他的許多畫和詩，就是在此孕育、構思和創作的。

掃葉樓在“文化大革命”中遭破壞，1979年10月修復，并將樓后善慶寺與樓側茶社以花墻圍之，構成一組古建筑群。2000年初在“龔賢故居”的基礎上設置龔賢紀念館。紀念館的門楣上有當代著名書畫鑒定家徐邦達題寫的館名，一樓為展示廳，集中展示當代著名書畫家林散之、蕭嫻、陳大羽、費新我等書寫的與清涼山有關的詩篇以及龔賢的詩句。樓上為陳列室，陳列柜中展示的是龔賢書畫精品及詩文研究成果。樓后兩個展廳不定期舉辦當代名家的書畫藝術展覽。

掃葉樓1957年被定為江蘇省文物保護單位。

南京女詩人畫家康雪蓮曾題詩：

八家墨客留心跡，半畝園墻結傲霜；

縱有西風頻掃葉，敢教香草護清涼！