天智天皇の時（６７０年頃）に、この地に光を放つ三大石があり、掘ると弥勒三尊の石像が現れた。勅願により堂宇を建立し「石光寺」の名を賜り、役の小角が開山となり弥勒如来を本尊としてまつったのがはじまり。聖武天皇の時（７５０年頃）に、蓮糸曼荼羅を織った中将姫が、この寺の井戸で蓮糸を洗い五色に染め、桜の木にかけて乾かしたというので、この桜を「糸かけ桜」、井戸を「染の井」、またこの寺を「染寺」ともいう。