சித்தர்களின் தலைமைக் குருவான ஸ்ரீ காகபுஜண்டர் இத்தலத்தில் 16 ஆண்டுகள் தவமிருந்தார். இதன் காரணமாக 16 முகங்களைக் கொண்ட சிவபெருமானைக் காணப் பெற்றார். தனக்குக் கிடைத்த தரிசனம் ஊர் மக்களுக்கும் கிடைக்க வேண்டும் என்ற நோக்கத்தில் 16 திருமுகங்கள் கொண்ட ஷோடஸ லிங்கம் ஒன்றை ஸ்தாபித்தார்.
தென் பொன் பரப்பையை ஆண்ட வானகோவராயன் என்பவன் இவ்வாலயத்தை எழுப்பினான் என ஸ்தல வரலாறு கூறுகிறது. ஸ்ரீ காகபுஜண்டரும் அவரது மனைவி பகுளா தேவியும் ஜீவசமாதி அடைந்தனர். அந்த சமாதி ஆலயத்தின் உள்ளே உள்ளது.