காவடியைப் பார்த்து அருள் ஏற்பட்டு பழநி சென்றதாலும், அடிக்கடி அருள்வாக்கு கூற முருகன் வருவதாலும் காவடி பழநி ஆண்டவர் எனும் பெயரை இவ்வாலயம் கொண்டுள்ளதாக கூறப்படுகிறது.
பாவாயி அம்மாள் என்பவரால் 1945ஆம் ஆண்டு சிறிய கோவிலாக நிறுவப்பட்டு படங்களும் வேலும் வைத்து பூஜை மேற்கொள்ளப்பட்டதாகவும் பின்னர் 1961ல் பெரிய கோவிலாக உருவானதாகவும் கூறப்படுகிறது.
திருப்புகழ் பஜன்கள் நடத்துகின்றனர். அக்னி நட்சத்திர நாட்களில் வழிப்போக்கர்களுக்கு நீர்மோர் - பானகம் தருகின்றனர்.