今から約一千年前、橘行平（たちばなの　ゆきひら）という人がいました。この方は第三十代敏達（びたつ）天皇の子孫で、従四位上（じゅしいじょう）中納言の貴族でした。
因幡堂縁起によれば、天徳三年（西暦九五九年）橘行平は、村上天皇の命で因幡国（現鳥取県）の一宮に赴きました。そこで神事を済ませ帰洛の途中、行平は急病になりました。平癒を神仏に祈り続けていると、ある夜、夢に異形の僧が現れこう告げました。
「因幡国賀留津の海中に一つの浮き木がある。その浮き木は衆生済度（人々を救って悟りを得させるため）に遠くの仏の国からやってきた。あなたは速やかにこの浮き木を求めて供養しなさい。そうすれば必ず病気は治る。さらに一切のあらゆる願いが成就するだろう」 行平は正夢に違いないと思い、早速人々を集めて大網をもって海底を探らせたところ、お告げの通り一つの浮き木がありました。そしてそれはよく見ると身の丈五尺余り（一六五センチ位）の薬師如来の尊像でした。
行平は喜んでこれを信心しこれを供養する草堂をこの浦に建て薬師如来像を祀りました。
これが「因州（鳥取県）高草郡大字菖蒲浦の座光寺（ざこうじ）」です。

その後、行平の病気は平癒し、無事に京に帰る事が出来ました。ところが帰京した行平にまたある夜、一人の異形な僧から夢告があります。
「我は西の天より来て、東の国の人々を救おうとやってきた。あなたには宿縁（前世からの因縁）があるから重ねて事を示す」 行平が夢から覚めると丁度、屋敷の西門に来客があると家人が呼びに来ました。
行平が「どなたですか」と問うと「因州の僧だ」と返答がありました。行平は驚いて西の門を開けさせたところ、あの薬師如来の尊像が立っておられたのです。
さっそく行平は五尺余りの尊像を碁盤の上にのせて安置しました。これが長保五年（一〇〇三年）四月八日の黎明のことでした。行平は屋敷を改造してお堂を作り、このお堂を因幡堂と名付けたのです。

その後、この霊験譚は平安京の人々に広く親しまれ、六十六代の一条天皇（在位九八六～一〇一一）のお耳に入り、天皇ご自身信心なされて、八ヶ所の子院を建立され、皇室の勅願所とされました。歴代の天皇もご尊崇が厚く、ご即位ごとに祈祷し、また「薬師もうで」といい、勅使の御月参りもありました。

源平争乱の時代、八十代の高倉天皇が因幡堂のすぐ南「東五条院」にお住まいになられました。因幡堂の正面真南の通りを不明(あけず)門と呼びますが、これは五条院の御所に遠慮して南門を開けなかったためです。

承安元年（一一七一）には、高倉天皇により「平等寺」と命名され、勅額を贈られました。
二〇〇三年、京の都の人々に支えられてきました当山は一千年の節目を迎えることが出来ました。