Om Vibækken fortælles at møllen har ligget et par kilometer længere oppe ad bækken ved Mulhuse, hvor en vandmølle kan spores tilbage til 1500-tallet.
Den nuværende mølle blev opført i 1756 og placeret sydligere end den oprindelige mølle, nærmere Taskland. Årsagen til, at Vibæk Mølle blev flyttet længere ned ad bækkens løb, var, at den derved kom til at ligge tættere ved havet, så transportvejen blev kortere. Flytningen betød også større faldhøjde, og at strømmen blev stærkere.
Der kunne opsamles lidt mere vand, når afstanden til bækkens udspring var længere. Der var rigeligt med vand om vinteren, men vandforsyningen var et problem om sommeren.
En dendrokronologisk analyse har vist, at tøm¬meret, der er anvendt i den nuværende mølle, blev fældet omkring 1550, og på Johan Mejers kort fra 1649 ses den gamle vandmølle sammen med otte andre vandmøller. Der eksisterer desuden en omtale af den første mølle fra 1715.
Der klages over vandmangel om sommeren, da mølledammen bruges til græsning på denne årstid.