ரிக், யஜுர், சாம, அதர்வண வேதங்கள் நான்கும் சிவபெருமானைக் குறித்துத் தவம் இருந்தன. பிரத்யட்சமான இறைவனிடம், தாங்கள் நான்கு மரங்களாக இருக்க, அதன் நிழலில் இறைவன் வாசம் செய்ய வேண்டும் எனப் பிரார்த்தித்தன. இத்தலத்திலுள்ள வேணு வனத்தில் வேணு மரங்களாக இருக்குமாறு பணித்தார் இறைவன். அதன்படி, நான்கு வேதங்களும் இங்கு மூங்கில் மரங்களாக நிற்க, அதனடியில் இறைவன் லிங்க வடிவில் அமர்ந்தான் என ஸ்தல வரலாறு கூறுகிறது.
ராமக்கோன் என்ற பெயர் கொண்ட இடையன், தினமும் இந்த வேணுவனம் வழியாகப் பால் குடங்களைச் சுமந்து சென்று அரண்மனைக்கு மன்னரிடம் பாலைக் கொடுப்பது வழக்கம். மூங்கில் முனை ஒன்று தடுக்கி, பால் குடம் கவிழ்ந்து பால் கீழே கொட்டுவதும் அனுதினம் நடக்கும் செயலாக இருந்தது. தினமும் பால் கீழே கொட்டி வீணாவதால், மன்னனின் கோபத்திற்கு ஆளாக நேரிடுமே என்ற பயம் வந்ததினால், கோடரி கொண்டு மூங்கில் முனையை வெட்டிவிட்டான் ராமக்கோன்.
வெட்டிய இடத்திலிருந்து ரத்தம் பீறிட்டு வந்தது. பயந்துபோன ராமக்கோன் நடந்தவைகளை மன்னனிடம் விவரித்தான். உடனே அங்கு விரைந்து வந்த மன்னன், அக்காட்சியைக் கண்டு, இது ஏதோ தெய்வச் செயல் என்றெண்ணி, மூங்கிலுக்கடியில் மறைந்திருக்கும் இறைவன் வெளிப்பட வேண்டும் எனப் பிரார்த்தித்தான். பிரார்த்தனைக்கிணங்க, இறைவன் லிங்க வடிவில் எழுந்தருளினார் என ஸ்தல வரலாறு. பங்குனித் திருவிழாவின் நான்காம் நாள் இந்த திருவிளையாடலை நடத்திக் காட்டுவார்கள்.
ராமக்கோனால் வெட்டுப்பட்ட காயத்துடன் இறைவன் வளர்ந்து நின்றார். 'வேண்ட வளர்ந்த நாயகன்' என்ற பெயர் கொண்ட இந்த மூல லிங்கத்திற்கு மன்னன் கோவில் எழுப்பினான்.
முழுதும் கண்ட ராமபாண்டியன் கட்டுவித்த கோவில். பின்னர் நின்ற சீர் நெடுமாறன், ஏழாம் நூற்றாண்டில் இந்தக் கோவிலை விரிவுபடுத்தினான் எனக் கூறப்படுகிறது.
வேதசர்மா எனும் சிவபக்தன், தமது வறுமையைப் போக்கியருளுமாறு வேணுவனநாதரிடம் முறையிட்டு வேண்டிக்கொண்டார். இறைவனருளால் வறுமை நீங்கப் பெற்று வசதிகளைப் பெற்றதும், தினமும் இவ்விறைவனுக்குச் செந்நெல் அறுத்து அமுது படைப்பதை வழக்கமாகக் கொண்டிருந்தார். சிறிது காலம் சென்றதும், மீண்டும் வறுமை நிலைமையை அடைந்தார்.
வீடு வீடாகச் சென்று நெல் பிச்சை எடுத்து வந்து அதில் அமுது படைக்கலானார். ஒரு நாள், தாம் சேகரித்த நெல்லை ஆற்றின் கரையில் பரப்பி வைத்துவிட்டு ஆற்றில் நீராடச் சென்றார். சோதனையாக, பெருங்காற்றுடன் கூடிய மழை வந்தது. தான் பிச்சை எடுத்து சேகரித்து வைத்த நெல்லைக் காப்பாற்ற ஓடோடி வந்தார் வேதசர்மா.
இறைவனின் திருவுளத்தால், காய வைத்த நெல்லைச் சுற்றிலும் வெய்யில் அடித்துக் கொண்டிருக்க, நெல்லைச் சுற்றிலும் மழை நீரே வேலி போல் நின்றது. இறைவனின் கருணையை நினைத்து ஆனந்தித்தார் வேதசர்மா. நெல்லை வேலி போல் காத்ததனால், 'வேலி காத்த நாதர்', 'நெல்லையப்பர்', 'சால்வடிவீஸ்வரர்' ஆகிய பெயர்களைக் கொண்டார் ஸ்வாமி. இறைவனே வேலியிட்டு காத்ததினால், இவ்வூரை திருநெல்வேலி என்று அழைக்கின்றனர்.
தைப்பூசத் திருவிழாவின் நான்காம் நாள், நெல்லுக்கு வேலியிட்ட திருவிளையாடலை ஐதீகமாக நடத்திக் காட்டுகின்றனர்.
"திக்கெல்லாம் புகழும் திருநெல்வேலியை, திங்கள்தோறும் திருவிழாக் காணும் திருநெல்வேலி" என்று திருஞானசம்பந்தர் போற்றிப் பாடியிருக்கின்றார்.