Село Витовница, као једно од старих насеобина, имало је и своја настајања и сељења. По предању, које се сачувало до данашњих дана, село је најпре у турско време због зулума Турака, ишло у збегове по планинама. По престанку прогона, поново се насељавало и живело свој живот. Данас постоје трагови насеобине овог села на „Смрдану”, где се пре 250 година налазило насеље мештана Витовнице. У сведочењима из тог времена о самом сељењу, помиње се и предање о старим гробљима у атарима овог села. Више пута село је налазило уточиште по пећинама у оближњој клисури. Тада село није било на садашњој локацији, већ се ту населило у првој половини XVII века. Једно време становници села су се повукли и настанили повише самог манастира Витовнице, на оближње брдо, алии пошто тамо није било довољно воде без које је опстанак немогућ, опт су сишли у долину, на садашњи простор.
Треба рећи да је честа бежанија била и због саме реке, која кад набуја од јаких киша и топљења снега, плави долину и куће у њој. Људи су се из тих разлога повлачили на обронке изнад реке и на узвишењима подизали, најпре станишта за животиње, а онда и за себе. Имања Витовничана груписана су и ван села и на њима су саграђене колибе и салаши, где лети пландују стада оваца и када се упоредо са испашом сакупља млеко и сир.
На тим пословима, махом, ангажовани су старији људи, који зими силазе у куће у селу, где остају до пролећа, а онда поново на салаше и бачије.