関跡は、宮城県と山形県の県境の標高906mの笹谷峠にある。

東の笹谷宿まで一里半、西の関根（関沢）宿まで一里半、笹谷峠の八丁平と呼ぶ平坦地の南東側にある。
笹谷街道は、平安の時代から太平洋側の奥州と日本海側の羽州とを結ぶ重要な街道で、歌枕にも詠まれている。
みちのくの難所として聞こえ、「いなむや」「ふやむや」「むやむや」などの名称でも呼ばれた。
「義経記」にみえる「伊那の関」、「吾妻鏡」にみえる「大関山」は、この有耶無耶の関と考えられている。

この峠は、古代から太平洋側と日本海側の物資の流通路としてはもちろん、古代から官道として都の官人の往来や、戦国期には軍道としても重要だった。
近世には羽州街道が整備されるまでの間、出羽13大名の参勤交代の行列もこの峠を通った。

昔から、笹谷峠は難所として知られている。そのためか、下のような伝説が伝えられている。

この峠には山鬼が住んでいて、人を取って食らっていた。
しかしいつのころからか、仙台側の「無耶の観音」と山形側の「有耶の観音」の霊鳥が峠に住み着き、鬼がいる時は「有耶」、いない時は「無耶」と鳴いて旅人に知らせたという。