உஜ்ஜயினியை ஆண்ட விக்ரமாதித்ய மகாராஜா, காளி தேவியின் வரப்படி நீண்ட காலம் வாழ்வதற்கு, நாட்டில் ஆறு மாதம், காட்டில் ஆறு மாதம் ஆட்சி செய்ய முடிவெடுத்து அதன்படி ஆண்டு வந்தார். வன வாசம் செய்யும்போது, தனது குலதெய்வமான காளி தேவியின் சிலையை உடன் எடுத்துச் செல்வது வழக்கம்.
ஒரு காடாறு மாத சமயத்தில், தமிழ் நாட்டிலுள்ள மாகாளிகுடி காட்டிற்கு வந்தபோது, கொண்டு வந்த சிலையை பிரதிஷ்டை செய்து பூஜித்து வழிபட்டார். திரும்ப எடுக்கும் போது, சிலை இங்கேயே நிலை கொண்டு விட்டதால், இக் கோவிலை எழுப்பியதாக ஸ்தல வரலாறு.
மற்றொரு செவி வழிக் கதையின் கூற்றுப்படி, சுபமகிடன் எனும் காளி பக்தன், சாபத்தின் காரணமாக, இரவு நேரங்களில், காளிக் கோவில் விளக்காக மாறி எரிந்துக் கொண்டிருந்தான். அவனது நண்பனான விக்ரமாதித்யன், சுபமகிடனுக்கு பதிலாக தானே சென்று விளக்காக எரிந்தான். அவனது தியாகத்தை மெச்சி பிரத்யட்சமான காளி தேவியிடம், நண்பனுக்கு சாப விமோசனம் வேண்டிப் பெற்றான்.
பின்னர் ஊரை விட்டுப் புறப்படும்போது, தன்னை பின் தொடர்ந்து வருமாறு காளியிடம் வேண்டுகிறான் விக்ரமாதித்யன். சம்மதித்து காளியும் பின் தொடர்ந்தாள். இவ்வூர் அருகே வரும்போது காளி வருகிறாளா இல்லையா என சந்தேகம் கொண்டு திரும்பி பார்த்தான் விக்ரமாதித்யன். அதனால் கோபம் கொண்டு இங்கேயே நின்று விடுகிறாள் காளி. காளி நின்ற இடம் என்பதால் மாகாளிகுடி என்றானதாக ஸ்தல வரலாறு.
