寺伝によると行基が創建して聖武天皇より古子山葛井寺（紫雲山金剛琳寺）の勅号を得たとされている。近世の地誌類や再興勧進帳でも以上の寺伝を踏襲しているが、そもそもは葛井連の氏寺であったとされている。
葛井連の前身である白猪氏は百済辰孫王の後裔である王辰爾の甥である胆津を祖としており、『日本書紀』によれば、吉備国の白猪屯倉の田部の丁を定めた功績により白猪氏の姓を賜ったとされている[1]。奈良時代の養老4年（720年）に白猪氏は葛井連（藤井連）（ふじいのむらじ）に改姓しており、葛井寺は一族の葛井連広成によって創建されたとされている[1]。また、葛井一族からは大安寺僧である慶俊が出ている。
大同元年（807年）に葛井氏の出身である藤子（葛井連道依娘）と平城天皇の間に生まれた皇子である阿保親王によって再建された。また阿保親王の皇子である在原業平が奥の院を造営した[2]。中世以前の沿革については史料が乏しく、必ずしも明確でないが、本尊千手観音坐像は奈良時代の作品であり、境内から奈良時代の古瓦が出土することなどから、創建が奈良時代・8世紀頃にさかのぼることは間違いない。
発掘調査によって7世紀中葉の西琳寺式軒丸瓦や7世紀後半の善正寺式軒丸瓦が出土しており、7世紀後半には建立されたことが判明している。なお、8世紀前半の大安寺式軒瓦や難波宮式軒瓦（重圏紋軒丸瓦・重郭紋軒平瓦）が多数出土しており、この頃伽藍の整備がなされたと考えられる。
永長元年（1096年）には大和国賀留の里の住人・藤井安基が、荒廃した伽藍を修理したと伝える[3]。
境内出土の瓦の1つに久安3年（1147年）の銘があり、その頃に造営事業が行われたことが推定される。平安時代後期から観音霊場として知られるようになり、西国三十三所観音霊場が成立すると、その一つに数えられるようになった。南北朝時代には楠木正成が陣をしいたことがあるなど、たびたび兵火にさらされた。
室町時代には興福寺の末寺として栄え、伽藍は東西2つの三重塔をもつ薬師寺式伽藍配置であったが、明応2年（1493年）に起きた畠山氏の内紛に端を発した兵火によって楼門、中門、三重塔、鎮守社、奥の院を焼失し、本堂と堂塔を残すのみとなった[1]。また、永正7年（1510年）の地震で堂塔を失い、現存する建物は近世以降の再建である[4]。