一般的に「金剛山」と呼ばれているものの、その名の山はなく、大日岳・葛木岳・湧出岳の三峰の総称である。そのなかでの最高峰が、この葛木神社のある葛木岳（1,125ｍ）で、古くは高天山と呼ばれていた。山上に金剛山寺が建立されてから金剛山の名が使われるようになったようである。
『日本霊異記』に、役小角が鬼神に金峯山と葛木山の間に橋を架けよと命じる説話があるが、葛木山が修験道の開祖・役行者小角との結びつき考えさせられる。事実、葛木山は奈良・平安時代以降、金峯山同様に山岳宗教の聖地となり、天台・真言の修験道場の地とされ、明治初年までは女人禁制の山であった。
葛城山、葛木神社の主祭神“一言主神”は、記紀にも登場する。
『古事記』雄略天皇の条では、天皇と一言主が大和葛城の山で出会う。そのとき天皇の問いかけに対して、「吾は悪事も一言、善事も一言、言い離つ神、葛城の一言主の大神なり」と答える。大神が名乗ると天皇は畏敬して、帰途には見送ったことが書かれている。この一言主は葛城氏の先祖神であると思われるが、この時点での天皇と葛城氏の力関係を示しているものとも取れる。この「一言主大神」を祀るのが、葛木神社である。