广州西关西来正街一带，隋代以前曾是珠江岸。相传南朝梁武帝普通七年（526年），印度的高僧菩提达摩东渡来到中国传教，在珠江登岸，并在登陆处建西来庵。后世信徒尊奉达摩为中国佛教禅宗的始祖，因而称其当年登陆地为西来初地，这也是“西来正街”的名称由来。清顺治十二年（1655年）寺内建大雄宝殿，改西来庵为华林寺，成为广州佛教四大丛林之一。道光二十九年（1849年），该寺住持抵园和尚奉诏建设了宽31米、深44米、总面积为1364平方米的五百罗汉堂，大门前左右分立一尊金刚，堂平面呈田字形，从门直入，北边神龛供奉有三宝佛，西面神龛供奉地藏王，东面神龛供奉一尊木雕的千手千眼观音立像，回廊供奉五百罗汉像，如真人大小。