கிருத யுகத்தில் நான்முகன் பூஜித்த வன்னி லிங்கமாகவும், திரேதா யுகத்தில் வியாசர் பூஜித்த வானி லிங்கமாகவும், துவாபர யுகத்தில் மார்க்கண்டேய முனிவர் பூஜித்த வள்ளி லிங்கமாகவும், கலியுகத்தில் மன்னி லிங்கமாகவும் யுகத்திற்கு ஒன்றாக தரிசனம் தந்த இறைவன் கோவில் கொண்ட ஸ்தலம்.
இவ்வூரில் வாணியாறு நதிக்கரையில் இருந்த வள்ளி வனத்தில் அன்னி எனும் வேடன் வசித்து வந்தான். வனத்தில் முளைத்திருக்கும் வள்ளிக் கிழங்கை தோண்டி வெட்டி தின்று வாழ்ந்து வந்தான். வழக்கம் போல் ஒரு நாள் வள்ளிக் கிழங்கைத் தோண்டுவதற்காக பூமியை வெட்டினான். வெட்டிய இடத்திலிருந்து ரத்தம் பெருகி ஓடி வந்தது.
விஷயம் சேர மன்னனுக்கு எட்டியது. வள்ளிக்கிழங்கு குழியை அகலமாகவும் ஆழமாகவும் தோண்டிப் பார்க்க உத்தரவு பிறப்பித்தான் மன்னன். பெரிய சிவலிங்கம் ஒன்று காட்சி தந்தது. ஆனால் வெளியே எடுக்க முடியவில்லை. ஒரு வடத்தை லிங்கத்தில் கட்டி யானையை விட்டு இழுக்கச் செய்தான். பூமி அதிர்ந்து அனைவரும் மூர்ச்சித்து விழுந்தனர். சிவஅபராதத்திற்கு மன்னிப்பு கோரினார்கள்.
இந்த நிகழ்வை மன்னித்ததால் மன்னீஸ்வரர் என்ற பெயரைக் கொண்டார். அன்னி எனும் வேடன் இருந்த ஊர் என்பதால் அன்னியூர் எனப் பெயருற்று பின்னாளில் அன்னூர் என மாறியிருக்கக்கூடும் எனவும், வன்னி மரங்கள் நிறைந்த பகுதி என்பதாலும், வன்னி என்ற சொல் நெருப்பைக் குறிப்பதாலும், அன்னூர் என பெயர் வந்திருக்கலாம் எனவும் கூறப்படுகிறது.
லிங்கம் தோண்டி எடுக்கப்பட்டபோது நெருப்பு பிழம்பு தோன்றியதாக கல்வெட்டுக் குறிப்புகள் தெரிவிக்கின்றன.
1008 சங்கு புஷ்பங்கள் கொண்டு அலங்காரம் செய்வார்கள். எல்லா மாதங்களிலும் விழாக்களை கொண்டாடுவார்கள்.