ஆதியில் பொம்மராஜன் என்ற சிற்றரசன் ஆண்ட பகுதி என்பதால் பொம்மராஜபுரம் என்ற பெயர் கொண்ட ஊர். சூலை நோய் கொண்டு அவதியுற்றான் பொம்மராஜன். அவனது கனவில் தோன்றிய பெருமாள், அவனை அகத்தீஸ்வரரை வழிபடச் சொன்னார். அதன்படி அவனும் அகத்தீஸ்வரரை வழிபட்டு குணம் அடைந்தான். ஈஸ்வரனை அகத்தில் வைத்து பூஜித்ததால் அகத்தீஸ்வரர் என்ற பெயரைக் கொண்டார். நோய் நீங்கப் பெற்ற பொம்மராஜன் இக்கோவிலை கட்டினான் என ஸ்தல வரலாறு.

மூலஸ்தானத்தில் சிவலிங்க வடிவினராக எழுந்தருளியுள்ளார் அகத்தீஸ்வரர். கிழக்கு பார்த்த சந்நிதி. வலது பக்கமாக தனி சந்நிதி கொண்டு எழுந்தருளியிருக்கும் அம்பாள் அகிலாண்டேஸ்வரி கருணை மிக்கவள். சிவாலய கோஷ்ட தெய்வங்கள் மாடம் போன்ற அமைப்பில் உள்ளனர். இச்சா சக்தி, ஞானசக்தி, கிரியா சக்தி மூர்த்தங்களை தரிசிக்கலாம். மஹா கணபதி, வரசித்தி விநாயகர், வள்ளி - தெய்வயானை உடனாய ஆறுமுகன், அதிகார நந்தி, பைரவர், விசாலாட்சி உடனுறை காசி விஸ்வநாதர், தட்சிணாமூர்த்தி, துர்க்கை-லட்சுமி-சரஸ்வதி, அன்னபூரணி, சூரிய-சந்திரர்கள், நால்வர், நவகிரகங்கள் ஆகிய மூர்த்தங்களை தரிசிக்கலாம்.