在惠濟宮的山腳下，可以看到一個像草原的廣場，上面有著模型的羊群，好像先民在這裡放牧一樣。循著階梯向上，經過林間，昏暗的感覺，旁邊的岩壁上長著青苔，具有古意，在途中經過一個石頭拱門，是芝山的歷史遺蹟，在其後會發覺道路開闊許多，過一個彎，豁然開朗，平坦的路面，與先前的感覺截然不同，惠濟宮，就座落其間。
漳州人來到士林，也把他們的守護神「開漳聖王」一塊兒帶來了。傳說芝山原本是富豪黃善的土地，約兩百年前，其漳州府平和縣的親戚黃澄清，帶著開漳聖王的香火來到臺灣，懸掛在芝山上，傳說有神蹟出現，大家就合力湊錢，在1752年搭建了惠濟宮。不久，因祭祀觀音佛祖，又名芝山巖寺。1840年士林士紳的潘永清在芝山巖上創建了文昌祠，聘請老師教育子弟。到了1874年，3座寺廟合併在一起，從此就統稱為惠濟宮了。

目前來到惠濟宮，多半是祈求考試可以順利，這裡有隻文昌筆。傳說若是摸了「文昌筆」會得到保佑，因此家長都會帶著小孩來摸文昌筆，祈求考試順利。