கடற்கரை அருகே அமைந்துள்ள இவ்வாலயம் உள்ள பகுதி மணற்பாங்காக இருந்ததால், மணற்குளம் எனப் பெயர் கொண்டு, காலப்போக்கில் மணக்குள விநாயகர் என்றானதாக கூறுகின்றனர். கடற்கரை அருகில் மணக்குள விநாயகர் இருந்ததால், இவ்விநாயகரை வழிபட ஊர்மக்கள் திரளாக வருவது, பிரெஞ்சு படையினருக்குப் பிடிக்கவில்லை. எனவே விநாயகர் விக்ரஹத்தை, இரவோடு இரவாக தூக்கிக் கொண்டு போய் கடலில் வீசி விட்டார்கள். மறுநாள் காலையில் பார்த்தால், முன்னம் இருந்த இடத்திலேயே, மீண்டும் அமர்ந்து தரிசனம் தந்து கொண்டிருந்தாராம் பிள்ளையார். மீண்டும் கடலில் வீசினார்கள். மீண்டும் அதே இடத்திற்கு வந்தார். ஊர் மக்கள் ஒன்று சேர்ந்து, இதே இடத்தில் பிள்ளையாருக்கு கோவில் எழுப்பினார்கள் என ஸ்தல வரலாறு. சில பிரெஞ்சுக்காரர்களே வந்து வழிபட ஆரம்பித்ததால் வெள்ளைக்கார பிள்ளையார் என்ற பெயரும் வந்தது. புதுச்சேரி வருபவர்கள் தவறாது தரிசிக்கும் பிள்ளையார்.

மூலவரின் பீடம் ஒரு கிணற்றின் (குளத்தின்) மீது அமைக்கப்பட்டுள்ளது. அருகில் அரை அடி விட்டமுள்ள ஆழமான குழியில் தீர்த்தம் அமைக்கப்பட்டுள்ளது. ஆலயத்தின் விமானம் தங்கத் தகடுகளால் வேயப்பட்டது. மூலஸ்தானத்தில் ஸ்ரீ மணக்குள விநாயகர் கம்பீரமாக எழுந்தருளி தரிசனம் தருகின்றார். மிகுந்த வரப்பிரசாதி. சேவார்த்திகளின் வேண்டுதலுக்கு தங்க கவசம்/வெள்ளி கவசம் சார்த்தப்படுகிறது. வலது பக்கம் ஆதி விநாயகரும், இடது பக்கம் நாகலிங்கமும் எழுந்தருளியுள்ளனர். இங்கு 108 வித விநாயகர்களை வண்ண சுதைச்சிற்பங்களாக அழகுற வடித்துள்ளனர். உற்சவ விக்ரஹங்களும், ஹரிதா கணபதி, நர்த்தன கணபதி, லட்சுமி கணபதி ஆகிய உலாத்திருமேனிகளும் அழகாக இருக்கின்றன. மயில் வாஹன பிள்ளையார் வெகு அழகானவர். வெள்ளித் தேரில் பவனி வரும் பிள்ளையார் இவர். பக்தர்களை வரவேற்க அழகான குட்டி யானை ஒன்றும் இருக்கின்றது. பாரதியாருக்கு மிகவும் பிடித்த ஸ்தலம்.