பாண்டிய மன்னன் அரிகேசி பராங்குசன், லிங்க மூர்த்தியை காசியில் இருந்து கொண்டுவர ஏற்பாடு செய்தான். தனது படைகள் சூழ காசிக்குச் சென்று தானே அதை எடுத்து வந்து பிரதிஷ்டை செய்தான். சிவன் காசியிலிருந்து வந்ததால், 'சிவன்காசி' எனப் பெயருற்று, நாளடைவில் மருவி 'சிவகாசி' என்று அழைக்கப்படுகிறது. பஞ்சாட்சர மந்திரத்தின் நடுநாயக எழுத்தான 'சி' எனும் எழுத்தை முதலும் கடைசியுமாகக் கொண்டுள்ள ஊர் சிவகாசி. ஒவ்வொரு தமிழ் மாதத்தின் கடைசி திங்கள் மற்றும் வெள்ளி தினங்களில் சுவாமிக்கும் அம்பாளுக்கும் 108 சங்காபிஷேகம் நடைபெறுகிறது.

மூலஸ்தானத்தில் சிவலிங்க வடிவினராக விஸ்வநாத சுவாமி எழுந்தருளியுள்ளார். விசாலாட்சி அன்னை உடன் எழுந்தருளி அருள்பாலிக்கின்றாள். மகா கணபதி, பழநி ஆண்டவர், நடராஜர், தட்சிணாமூர்த்தி, துர்க்கை, ஐயப்பன், பைரவர், சூரிய - சந்திரர்கள், நாக தேவதைகள் என அநேக மூர்த்தங்கள் தரிசனம் தருகின்றனர்.