துக்கோஜி எனும் மராட்டிய மந்திரி, தனது சாரட் வண்டியில் பயணித்துக் கொண்டிருந்தபோது, இவ்வூரை கடந்து செல்கையில், வண்டியின் அச்சு முறிந்து, வண்டி நின்று விட்டது. இறங்கி பார்த்ததில், வண்டி சக்கரத்தில் ரத்தம் காணப்பட்டது. பதறிப்போய் அந்த இடத்தை தோண்டி பார்த்தார். மூல விநாயகரும் மற்ற 11 விநாயகர்களும் கிடைத்தனர். அந்த விக்ரஹங்களை வெளிக் கொணர்ந்து, பிரதிஷ்டை செய்து, இவ்வாலயம் எழுப்பியதாக ஸ்தல வரலாறு.
இவ்வூருக்கு மேற்கே உள்ள விரிஞ்சிபுரத்திற்கு விஜயம் செய்த ஆதிசங்கரர், தனது ஞான திருஷ்டியால் இங்கிருக்கும் சுயம்பு விநாயகர்களைப் பற்றி தெரிந்து கொண்டு, இவ்விநாயகர்களை வழிபட்டார். சக்கர ஸ்தாபனமும் செய்துள்ளார்.
விநாயகர்கள் சுயம்புவாக தோன்றிய ஸ்தலம் என்பதால் ஸ்வயம்பாக்கம் எனப் பெயருற்று பின்னர் மருவி சேண்பாக்கம் என அழைக்கப்படுகிறது. முன்நாளில் செண்பகக்காடாக இருந்ததால் செண்பகவனம் எனப் பெயர் கொண்டு நாளடைவில் சேண்பாக்கம் என்றானதாக கூறப்படுவதுமுண்டு.
