ஸ்வாமி தேசிகன் திருவஹீந்திரபுரத்திற்குச் சென்று, அங்குள்ள ஒளஷதகிரியில் அஸ்வத்த விருட்சத்தின் கீழமர்ந்து கருட மந்திரத்தை இடைவிடாது ஜபித்தார். அப்போது பிரத்யட்சமான கருடன், ஹயக்ரீவ மந்திரத்தை அவருக்கு உபதேசம் செய்தார். அந்த மந்திரத்தைக் கொண்டு ஸ்வாமி தேசிகன் ஸ்ரீ லட்சுமி ஹயக்ரீவரை உபாஸித்தார். இதனால் மகிழ்ச்சியுற்ற ஸ்வாமி, திருமுக மண்டலம் மட்டும் குதிரை வடிவமாகக் கொண்டு ஸ்ரீ ஹயக்ரீவனாக சேவை சாதித்தார் எனப் புராண வரலாறு கூறுகிறது. 'ஹய' என்றால் குதிரை. வெண் புரவியின் திருமுகம் கொண்டவர் ஹயக்ரீவப் பெருமான். வித்தைக்கு அதிபதியான ஸ்ரீ ஹயக்ரீவரை வழிபடும் பக்தர்கள் கல்வியும் ஞானமும் பெறுவர். ஹயக்ரீவர் ஸ்லோகம்: சங்க சக்ர கதா பத்ம சார்ங்க பாசாஸி தாரிணம் ஞானாதி புஸ்தகதரம் ஹயானன மஹம் பஜே. ஹயக்ரீவர் காயத்ரி: ஓம் வாகீஸ்வராய வித்மஹே ஹயக்ரீவாய தீமஹி தன்னோ ஹம்ஸஹ் ப்ரசோதயாத். கடலைப் பருப்பு, வெல்லம், தேங்காய் துருவல், நெய், ஏலக்காய் பொடி சேர்த்து செய்த சுண்டல் உடுப்பி ஸோதே மடத்தில் ஹயக்ரீவருக்கு நைவேத்தியமாகச் செய்யப்படுகிறது. இதை ஹயக்ரீவ பண்டி என்பர். ஹயக்ரீவருக்கு தேன் நைவேத்தியம் செய்து, அந்தப் பிரசாதத்தை வாய் பேச முடியாத குழந்தைகளுக்குக் கொடுத்தால் பேச்சு வரும் எனக் கூறப்படுகிறது.

மூலஸ்தானத்தில் மூலவராகவும் உற்சவராகவும் ஸ்ரீ ஹயக்ரீவப் பெருமாள் எழுந்தருளி சேவை சாதிக்கின்றார். இக்கோவில் வடக்கு நோக்கி அமைந்துள்ளது. மதுரை மற்றும் சுற்றுவட்டாரப் பகுதி மக்கள், ஏராளமான மாணவர்கள் இக்கோவிலில் வழிபடுகின்றனர்.