Mlýn byl nejspíše vystavěn v 18. století nebo na začátku 19.století, kdy bylo při stavbě využito okolní skály, do které byl mlýn částečně vytesán. Části mlýnice byly vytesány do pískovcové skály a zbytek stavby byl nejspíše vystavěn z odlomeného kamene a dřeva. Mlynáři využívali k pohonu mlýnského kola vody z Veseckého potoka. Voda byla nahnána do rybníku vytvořeného pro tento účel nad mlýnem a jejím upouštěním roztáčela mlýnské kolo. Existence Skalního mlýna dokládá císařský otisk katastrální mapy z roku 1842. Již v 19. století přestal být mlýn nejspíše využíván a začal chátrat. Doba zániku zřejmě nepřesáhla počátek 50. let 20. století a mlýnské zdivo bylo nejspíše rozebráno na nějakou stavbu v okolí.

Do dnešních dob se toho z mlýna mnoho nezachovalo. Zbytky mlýna se skládají pouze z toho, co bylo vytesáno do skály – mlýnice a prostor pro vodní kolo. Tyto dva prostory jsou oddělené skalní stěnou a schodištěm.