江戸時代、本覚寺の東隣に、青木山西向寺（さいこうじ）というお寺がありました。
西向寺は、深編笠に尺八の虚無僧で知られる普化宗（ふけしゅう）のお寺で、１６２０年頃の開創、普化宗総本山の下総国小金の一月寺の末寺と伝えられます。
そもそも普化宗は、唐の普化和尚を開祖とする禅宗の一派で、日本へは鎌倉時代に伝来しました。江戸時代には幕府が普化宗の虚無僧に日本中、自由往来の特権を与え、密偵機関として利用したことも良く知られております。

明治４年（１８７１）１１月、普化宗は新政府により、幕府との関係が深いことから廃止され、虚無僧は民籍に編入されることになりました。
これによって西向寺も廃寺となり、時の第十六世静海謙譲和尚は還俗したと伝えられております。
寺の跡地の大半は、のちに東海道線用地となりましたが、当山には歴代住職の内の第十五世蒼海友熙和尚の墓碑と、平成十二年に西向寺奉賛会･虚無僧研究会有志によって建立された西向寺記念碑が鐘楼堂横にあります。