ஆதியில் பனைமரக் காடாக இருந்தமையால் பனங்காடு எனப் பெயர் கொண்டது. வன்பாக்கத்திற்கு (வெண்பாக்கம்) அருகில் இருந்ததால் வன்பார்த்தன் பனங்காட்டுர் என்றானது.
தாலம் என்றால் பனைமரம் எனப் பொருள். பனைமரத்தினடியில் எழுந்தருளியதால் இவ்விறைவனுக்கு தாலபுரீஸ்வரர் என்ற பெயர் வந்தது.
பிரம்மாவின் மானஸ புத்திரர்களில் ஒருவரான புலஸ்தியர், தனது மகனான அகஸ்தியர் வழிபட்ட, சுயம்பு லிங்கமான ஸ்ரீ தாலபுரீஸ்வரர் இருக்கும் பனங்காட்டிற்கு வந்தார். எவ்வளவு தேடியும் அவரது கண்களுக்கு ஸ்வாமியின் தரிசனம் கிட்டவில்லை. தேடும் முயற்சியை கைவிட்டு, தாமே லிங்கம் ஒன்றை அமைத்து வழிபடலானார்.
பிரஜாபதிகளுள் ஒருவரும், சப்த ரிஷிகளுள் ஒருவருமான புலஸ்தியருக்கு, அகஸ்தியர், விஸ்ரவா என்று இரண்டு மகன்கள். விஸ்ரவாவுக்கு இத்விதா எனும் முனிகுமாரத்தியின் மூலமாக பிறந்தவன் குபேரன். விஸ்ரவாவின் இன்னொரு மனைவி கேசி என்பவளுக்கு பிறந்த பிள்ளைகளே ராவணன், கும்பகர்ணன், சூர்ப்பனகை மற்றும் விபீஷணன். புலஸ்தியர் பிரதிஷ்டை செய்து வழிபட்ட லிங்கமே கிருபாநாதேஸ்வரர்.
கோவிலின் எதிரே ஜடாகங்கை தீர்த்தக் குளம். குளக்கரையில் கங்கா தேவியின் சிலை. இங்கு எதிரொலி கேட்கின்றது.
ஒரே பனைமரத்தின் விதையிலிருந்து முளைத்த இரண்டு பனைமரங்கள். ஒன்று ஆண், மற்றொன்று பெண். இரண்டையும் பிரகார வலச்சுற்றில் பார்க்கலாம்.
அகஸ்தியர் வழிபட்ட காலத்தில் பனம்பழங்களை நைவேத்யம் செய்து வந்தாராம். இப்போதும் (கிடைக்கும் சமயங்களில்) பனம்பழ நைவேத்யம் தொடர்கின்றது.
