Piri Reisin Kitab-ı Bahriyesinde yer alan bilgiye göre Osmanlı donanmasında görevli “peksimet yemez” lakaplı tayfa donanma Bababurnundan geçerken ölünce buraya gömülmüş. O günden sonra donanma buradan ne zaman geçse tayfalar uğur getirsin diye türbenin bulunduğu tarafa doğru peksimet atmaya başlamışlar. Evliya Çelebi ünlü Seyahatnamesinde Bababurnundan geçerken Latif Babanın ruhuna Fatiha okuduğunu anlatıyor.

Bir zamanlar donanmanın uğur getirsin diye attığı peksimetler zamanla alışkanlık halini almış. Günümüzde denize açılan balıkçılar ve mavi yolculuğa çıkanlar bu alışkanlığı devam ettirip Peksimet Yemez Latif Baba türbesi nin önünden geçerken denize kuru ekmek atıyorlar. Bu alışkanlıktan Latif Babanın memnun olup olmadığı bilinmese de sanırım balıklar bundan fazlasıyla memnunlardır.