இரண்யாக்ஷன் என்னும் அசுரன் பூமா தேவியைக் கவர்ந்து சென்று கடலுக்கடியில் ஒளித்து வைத்து, அங்கேயே காவலுக்காக இருந்தான். பூமியில் வாழும் உயிரினங்களின் உயிர் கேள்விக்குறியானதால், தேவர்கள் எல்லோரும் திருமாலிடம் முறையிட்டனர். திருமால் வராக அவதாரம் எடுத்து கடலுக்குள் சென்று, அசுரனை சம்ஹாரம் செய்து பூமா தேவியை மீட்டு வந்தார்.
வராக வடிவம் கொண்ட அவதாரத்தின் நோக்கம் முடிந்ததும் வைகுண்டம் திரும்பாமல் பூமியிலேயே சுற்றிக் கொண்டிருந்ததால் தேவர்கள் பரமேஸ்வரனை வேண்ட, வேடன் உருவில் தோன்றிய சிவபெருமான் தனது சூலத்தைப் பன்றியின் மீது வீச, பன்றி மஹாவிஷ்ணு உருப்பெற்றது.
இரண்யாக்ஷனைக் கொன்ற தோஷம் போகப் பரிகாரம் வேண்டி நின்ற திருமாலிடம், இருவரும் ஐக்யமாகி லிங்க வடிவில் காட்சி தருகின்றனர். அந்த வடிவமே வாராஹீஸ்வரர். அதனால் தான் லிங்கத் திருமேனியில் சங்கு, சக்கரம் இடம் பெற்றுள்ளன.
மண்டபங்களிலும் தூண்களிலும் காணப்படும் சிற்பங்கள் அனைத்தும் எழில் கொண்டவை. சிதிலமடைந்திருந்த பழைய கோவிலைப் புதுப்பிக்கவும், கோவிலின் மற்ற தேவைகளுக்கும் காஞ்சி சங்கர மடம் நிறைய செய்துள்ளது.