ஒரு யானை படுத்திருப்பதைப் போன்ற தோற்றம் கொண்டுள்ளதால் இம்மலைக்கு யானைமலை எனப் பெயர் வந்தது.
யானை, ரிஷபம், பாம்பு, பன்றி ஆகியனவற்றை சமணர்கள் சிவபெருமான் மீது ஏவினார்கள் என்றும், அவற்றையெல்லாம் கல்லாக மாறும்படி சபித்துவிட்டார் சிவபெருமான் எனவும், அபிசார வேள்வியை நடத்தி மதயானை ஒன்றை சிவபெருமானை நோக்கி ஏவினார்கள் என்றும், நரசிங்க அம்பு ஒன்றை எய்து அந்த யானையைக் கொன்றுவிட்டார் எனவும் திருவிளையாடல் புராணம் கூறுகிறது.
அந்த நரசிங்க அஸ்திரமே இந்த மலையில் நரசிங்க மூர்த்தியாக இருப்பதாக திருவிளையாடல் புராணம் மேலும் தெரிவிக்கின்றது.
பெரியாழ்வாரின் ஊருக்கருகே உள்ள களக்குடியில் பிறந்த மாறன்காரி என்பவன் கி.பி.770ஆம் வருஷம் யானைமலையில் கோவில் ஒன்றை எழுப்பி, நரசிங்கரை ஸ்தாபித்தான் என கல்வெட்டுக் குறிப்புகள் தெரிவிக்கின்றன.
ராவணனின் பாட்டனாரான புலஸ்திய மகரிஷி இத்தலத்தில் தவமிருந்ததாகக் கூறப்படுகிறது. இம்மலையிலுள்ள சக்கர தீர்த்தமருகே உரோமச முனிவர் யாகம் செய்து, திருமாலை பிரார்த்தித்தார். பிரஹலாதனுக்குக் காட்சி தந்த அதே கோலத்தை இங்கு காட்டியருள வேண்டும் என வேண்டினார்.
பக்த பிரஹலாதன், நரசிங்கப் பெருமான், தாயார் ஆகிய மூவரின் தரிசனம் கிடைத்தது.
கஜேந்திர மோட்சம் நிகழ்ந்த ஸ்தலம். ம்ருத்யு பயம் போக்க வல்ல ஸ்தலம்.