奇拉雅山是阿美部落傳說中的發源地。相傳有一年夏天，十來歲的少年杜吉在家裡昭顧妹妹拉拉紺，他捆綁著稻穗放在獨木舟旁邊曬太陽。突然發生洪水，大地汪洋一片。杜吉抱起大叫的妹妹拉拉紺，往漂浮著的獨木舟一跳，漂流到大海洋中。洪水退後，杜吉與妹妹拉拉紺，開始過著新的生活。 數年過了，杜吉長成健壯的青年，妹妹長成婷婷玉立的少女。兄妹兩人相信島上一定還居住著其他的人，因此他們就分別從南北方向去探查。又數年過去了，有一天，杜吉在高崗上發現有一位矯健美麗的身影在海邊戲浪，飛也似地奔去，朝夕相處，日久生情，終成夫妻。後來，他們才發現他們就是曾經相依為命的兄妹，他們回到他們最初漂流到這個島嶼時獨木舟擱淺的海灘，建立永久的家，並且把屋後的山取名為奇拉雅山，以紀念遙遠的故鄉。 如今，阿美族人在每年的七、八月間舉行豐年祭及海祭，便是祭祀祖先當年夏天遭遇洪水氾濫漂流到這個島嶼的奮鬥精神。