Yapımına 1900 yılında başlanan köşke yaklaşık 10 yıl boyunca dokunan olmamış. Yıllarca yapım aşamasında kalan köşk, genç bir kadının kalbini fethetmek için inşa edilmeye başlanmış.
Halk arasında Yusuf Ziya Paşa’nın kendinden yaşça küçük, genç ve güzel bir kadına aşık olduğu söyleniyor. Genç kadının teklifi reddetmesi üzerine Yusuf Ziya Paşa, görkemli bir köşk ile genç kadının kalbini kazanacağına inanıyor. Rivayete göre, paşa genç kadını çok kıskanıyor ve kimsenin görmesini istemiyor. Bu nedenle genç kadına onu gözlerden uzak tutacak bu köşkü yaptırmak istiyor.
Padişah fermanı ile inşaat yarım kalıyor Padişah II. Abdülhamit’in İstanbul Boğazı’nda cami minarelerinden daha yüksek bir binaya izin vermemesi üzerine köşkün yapımındaki ilk aksaklık kendini gösteriyor. Bu fermandan sonra Yusuf Ziya Paşa, köşkün birkaç katını yaptırmaktan vazgeçiyor.
Köşkün büyük bölümü tamamlanınca genç kadın buraya yerleşiyor ancak kadına aşık olan gençler köşkün önünde gezinmekten vazgeçmiyor. Köşkün içinde peri kadar güzel bir kızın yaşadığı dilden dile dolanıyor ve sonunda köşkün adı Perili Köşk’e çıkıyor.
Rivayete göre Yusuf Ziya Paşa, genç eşini çok kıskandığı için onu köşkün kulesine kapatıyor ve başkalarıyla görüşmesini engellemek için köşkün inşaatına ara veriyor. Kulenin merdivenleri bile tam olarak tamamlanmıyor.
1914 yılında Birinci Dünya Savaşı’nın baş göstermesiyle birlikte köşkün inşasında çalışan işçiler de askere alınıyor. Ekonomik zorluklarla birlikte paşa, köşkü tamamlayacak parayı bulamıyor. Neredeyse tüm servetini kaybeden Yusuf Ziya Paşa, eşiyle birlikte Mısır’a kaçıyor ve hem İstanbul’u hem de görkemli köşkünü terk etmiş oluyor.
Mısır’da eşi tarafından terk edilen Yusuf Ziya Paşa, vasiyetinde mezar taşının genç kadını kapattığı kule taşlarından yapılmasını yazar. Bunun üzerine 1926 yılında hayatını kaybeden paşanın mezarı kuleden sökülen taşlardan yapılır.
Hayalet rivayetleri
Uzun yıllar boyunca yarım kalan köşk, halk arasında tamamen perili ev hikayesine döner. Köşkün içinde Yusuf Ziya Paşa’nın ruhunun dolaştığına ve kuleden genç kadının sesinin duyulduğuna inanılmaya başlanır. 1990 yılında yıkılıp tekrar inşa edilen köşkün içinde çalışan işçiler, genç kadının odasındaki aynada eski elbiseler içinde bir kadın hayaleti gördüklerini iddia eder.