Chiuso tra un folto parco boscoso, che quasi lo nasconde, esso appare come misteriosa dimora che abbia celato chissà quali tenebrose vicende. Ma forse la sua storia è invece limpida e serena poiché seppure, nel corso dei secoli, qualcosa di oscuro avvenne tra le sue mura, nulla ce ne tramanda la memoria.
Ricordato da Edrisi al tempo dei normanni, epoca nella quale era chiamato Liviri, esso fu il centro attorno cui sì andò poi formando il borgo, quasi interamente abitato da pescatori specializzati nella cattura dei tonni. Con gli aragonesi ne fu castellano Ferrano de Abbellis dal quale nel 1360, per concessioni di rè Federico III pervenne a Vinciguerra di Aragona cugino di Federico stesso.

Al tempo di rè Martino ne fu signore Raimondo de Xamer che lo possedette assieme alla sottostante tonnara (1398). Sul 1414 rè Ferdinando di Castiglia ratificò uno scambio, dell'anno 1400, per cui il castello era passato a Federico Spadafora. A questi subentrò Perrono Gioieni alla cui famiglia rimase sino al 1600 circa, epoca nella quale venne venduto ai La Grua. Successivamente posseduto dalla famiglia Zappino fu da questa venduto a Giuseppe Accordino (1693).

Nel 1724 venne acquistato da Ludovico Paratore Basilotta principe di Patti e dopo alcuni passaggi ereditari, sul 1803 divenne proprietà di Gaetano Paratore d'Amico principe di Patti.
Da lui castello e titolo passarono alla sorella Eleonora e da questa al fratellastro Domenico Merlo, che, sul 1900 circa, lasciò il castello alla figlia Elena dalla quale ereditò la pronipote e figlia adottiva, Caterina Martorana Bonaccorsi, attuale proprietaria, mentre il titolo dalla figlia primogenita di Domenico Merlo, Marianna, pervenne al di lei nipote generale Domenico Bonaccorsi, attuale principe di Patti.

Il castello sopra una bassa collina, poco lontana dalla spiaggia del Tirreno, è sovrastato dall'altissimo promontorio del Tindari (alla cui base il mare forma piccole, deliziose insenature sempre mutevoli) sul quale sorge il famoso santuario della miracolosa «Madonna nera» venerata in tutta l'isola e le cui antiche leggende affascinano ancora la fantasia popolare.
Secondo Goffredo da Viterbo il nome di Oliveri deriva da uno dei capitani di Carlo Magno chiamato Oliverio, che sarebbe sbarcato in quei pressi.

«Mons ibi stat magnus, qui dicitur esse rolandus alter Olivierus simili ratione vocandus haec memoranda truces consituere duces».
Appare invece assai più verosimile che sia dovuto ai grandi e ricchi uliveti di quella plaga. Ben poco rimane delle antiche strutture ma a differenza di molti altri è tuttavia riccamente arredato ed i suoi proprietari vi soggiornano buona parte dell'anno. Interessante un avanzo di vecchia torre, forse aragonese, e pittoresco il quadrato cortile interno.
Dall'alto il suggestivo santuario sembra protegga e consoli le umane fatiche e sofferenze.