ஸ்தல வரலாறு:
மதுரையை ஆண்ட வீரபாண்டி எனும் அரசனின் பெயரால் இவ்வூர் வீரபாண்டி எனப்படுகிறது. அரசன் வீரபாண்டி கண் பார்வையை இழந்து கஷ்டப்பட்டான். அவனது கனவில் தோன்றிய இறைவன் கூறியபடி, இத்தலத்திற்கு வந்து கௌமாரியை வேண்டி ஒரு கண்ணின் பார்வையைப் பெறுகிறான்.
கௌமாரி அன்னையின் வழிகாட்டுதலின்படி சிவபெருமானை வேண்ட, மற்றொரு கண்ணின் பார்வையையும் பெறுகிறான். அதற்கு நன்றிக்கடனாக சிவலிங்கம் ஒன்றை ஸ்தாபித்து, அதற்கு கண்ணீஸ்வரமுடையார் எனப் பெயரிட்டு இவ்வாலயத்தை நிர்மாணித்தான் என ஸ்தல வரலாறு கூறுகிறது.
வடக்கே முல்லையாறு, கிழக்கிலும் - தெற்கிலும் பசுமையான வயல்கள் என இயற்கை சூழலில் அமைந்துள்ள கோவில் இது. கோவிலின் முன்பாக நாகலிங்க மரமும், மனோரஞ்சிதப் பூ மரமும் உள்ளன.