天長年間の頃の話である。伊予国を治めていた河野家の一族で、
浮穴郡荏原郷（現在の愛媛県松山市恵原町の豪農で衛門三郎という者が居た。
三郎は権勢をふるっていたが、欲深く、民の人望も薄かったといわれる。
あるとき、三郎の門前にみすぼらしい身なりの僧が現れ、托鉢をしようとした。
三郎は家人に命じて追い返した。翌日も、そしてその翌日と何度も僧は現れた。
8日目、三郎は怒って僧が捧げていた鉢を竹のほうきでたたき落とし
（つかんで地面にたたきつけたとするものもあり）、鉢は8つに割れてしまった。
僧も姿を消した。実はこの僧は弘法大師であった。

三郎には8人の子がいたが、その時から毎年1人ずつ子が亡くなり、8年目には皆亡くなってしまった。
悲しみに打ちひしがれていた三郎の枕元に大師が現れ、
三郎はやっと僧が大師であったことに気がつき、何と恐ろしいことをしてしまったものだと後悔する。

三郎は懺悔の気持ちから、田畑を売り払い、家人たちに分け与え、妻とも別れ、
大師を追い求めて四国巡礼の旅に出る。二十回巡礼を重ねたが出会えず、
大師に何としても巡り合い気持ちから、今度は逆に回ることにして、巡礼の途中、
阿波国の焼山寺の近くの杖杉庵で病に倒れてしまう。
死期が迫りつつあった三郎の前に大師が現れたところ、三郎は今までの非を泣いて詫び、
望みはあるかとの問いかけに来世には河野家に生まれ変わり人の役に立ちたい
（石手寺刻版には「伊予の国司を望む」）と託して息を引き取った。
大師は路傍の石を取り「衛門三郎」と書いて、左の手に握らせた。天長8年10月のことという。

翌年、伊予国の領主、河野息利（おきとし）に長男が生れるが、
その子は左手を固く握って開こうとしない。息利は心配して安養寺の僧が祈願をしたところ
やっと手を開き、「衛門三郎」と書いた石が出てきた。
その石は安養寺に納められ、後に「石手寺」と寺号を改めたという。
石は玉の石と呼ばれ、寺宝となっている。