Burg Eltz è uno dei pochi castelli sulla riva sinistra del Reno a esser rimasto intatto dalla sua costruzione che risale all'anno 1157. Appartiene alla stessa famiglia da oltre 850 anni, fu donato da Federico Barbarossa a Rudolf zu Eltz. Si narra che Agnes, figlia del conte di Eltz, nel XV secolo venne promessa come sposa al figlio di un nobile sin una bambina. Ma quando Agnes, ormai adulta, incontrò il suo promesso scoprì che era freddo e maleducato. Contestava ad alta voce i dettagli della dote davanti alla corte, trattandola come un oggetto e mettendola in imbarazzo, al punto che lei si rifiutò di sposarlo e lo invitò a lasciare il Castello. Il giovane era così arrabbiato che le tirò un guanto in faccia e le promise vendetta.

L'uomo, infuriato, radunò le truppe e assediò il castello.

Quando Agnes vide i soldati riversarsi nel cortile del castello, indossò l'armatura del fratello, raccolse una spada e corse in battaglia. Questo atto incoraggiò i soldati del castello a respingere il promesso sposo ma alla fine della battaglia, Agnes fu trovata morta, con il petto trafitto da una freccia.

La leggenda narra che lo spirito addolorato di Agnes aleggi intorno al castello. Nella camera da letto un tempo appartenuta a lei, è ancora conservata l'armatura con il foro del dardo che la uccise.
Il castello Eltz ancora oggi è di proprietà della stessa famiglia che vi visse dal XII secolo, 33 generazioni fa. È considerato uno dei più bei castelli tedeschi.