Kaštel Kožljak jedna je od najnepristupačnijih utvrda Istre. Smješten na strmoj litici iznad starog puta koji je povezivao antičku Histriju i Liburniju, Kožljak kao da je izrastao iz same stijene.
U najstarijim pisanim izvorima iz 1102. godine spominje se kao Iosilach ili Giosilach, dok je germanski naziv Wachsenstein, a slavenski Kožljak ili Kožlak.
Wachsenstein znači „litica zbjega“, mjesto zaklona i utočišta, dok Kožljak upućuje na „kozji vrh“. Oba naziva nedvosmisleno govore o stjenovitoj, gotovo nedohvatnoj poziciji kaštela, zbog koje su njegovi gospodari uz svoje ime ponosno dodavali oznaku de Cosliaco ili de Wachsenstein.
Do njegovog rezidencijalnog dijela dolazilo se stubištem uklesanim izravno u živu stijenu. Na vrhu litice nalazio se utvrđeni stambeni prostor opasan zidinama, s dvije polukružne kule koje su nadzirale prilaz. Podno kaštela smještena je romanička crkva sv. Hadrijana, a rijedak detalj je i sačuvani zatvor.
Masivi Učke i Ćićarije činili su Kožljaku prirodni štit, ali i impresivnu kulisu. Sudbina mu je slična kao i mnogim drugim istarskim kaštelima. Česti sukobi i dugovanja dovodili su do čestih promjena vlasnika. Od Goričkih grofova i Mlečana, preko akvilejskog patrijarha, sve do Austrije.
Dio obitelj Barbo, koja je u 16. stoljeću boravila u kaštelu priklonio se protestantizmu, a Franjo Barbo-Waxenstein postao je jedan od najvažnijih zaštitnika reformacije u Istri.
U Kožljaku je primao istaknute propovjednike i pisce, pružajući utočište progonjenima. No, Crkva je ubrzo reagirala. Protestantski su propovjednici protjerani i prepušteni nemilosti inkvizicije.
