建于明萬歷六年(1578)的“胡文光牌坊”，俗稱“西遞牌樓”，高高聳峙在眼前。當時的西遞人胡文光(1521-1593)登嘉靖乙卯科進士，先為江西萬載縣知縣，后為膠州刺史，遷荊王府長史，授四品朝列大夫。因其政績顯著，皇帝遂愿準敕建這座石坊。整個牌坊上下用典型的具有徽派特色的浮雕、透雕、圓雕等工藝裝飾出各種圖來，而每一處圖案都蘊含有極深刻的寓意。胡文光牌坊造型莊重、典雅，石刻技藝出眾，堪稱明代徽派石坊的代表作。
桃李園亦建于清咸豐年間，由正屋和庭院組成，系西遞徽商胡元熙的舊居兼私熟蒙館。正屋為三間三進二樓結構，前兩進為兩小套背向三間屋。二進樓上設有獨特的“樓上井”，使整幢房屋光線充足，空氣暢通。而且，樓上木雕扶欄板權作相親孔洞，供偷偷觀看來往家中的男青年，能否挑選到如意郎君。二三進之間用粉墻相隔，中間有門相通，門上有隸書“桃花源里人家”石刻橫額。在通往街面的小門上，石刻有小篆“桃李園”三字門額，寓意“桃李滿天下”。