灵祐禅师在百丈怀海禅师座下开悟后，在寺院里担任典座（即负责寺院伙食）。

一天，司马头陀来到百丈山，告诉百丈禅师：“我在湖南找到了一座风水极好的山，名叫大沩，那是一个手下有一千五百名高徒的大善知识居住的地方。”

百丈禅师问道：“老僧住得否？”司马头陀说：“非大和尚所居。大和尚是骨人，那座山是肉山，假如您住在那里，徒众不会超过一千人。”百丈禅师便问：“我的弟子中有谁可以住得了此山？”司马头陀说：“待我一一观察。”

司马头陀观察过寺院首座等人，都不认可。灵祐禅师进来，司马头陀一见就说：“此人正是沩山主人！”

于是灵祐禅师便前往沩山开辟道场。

大沩山林密险峻，野兽出没，人迹罕至。灵祐禅师自来此山后，终日与猿猴为伍，全靠采集野果充饥，生活极为艰苦。这样过了六七年，竟没有一个人上山来。灵祐禅师思忖：“我住持此山的本意是想利益众生，像这样与世隔绝，独善其身又有何用呢？”因此想放弃此山，另寻他处。

当他下山走到山口，只见路上蛇虎交错，豺狼成群，挡住了下山的去路。灵祐禅师道：“你们不用拦我的路，如果我与此山有缘，你们各自散去，如果无缘，任由你们吃了吧。”话音刚落，虎狼便四散而去，于是灵祐禅师又回到了山上。

没过多久，懒安和尚从百丈山带着几位僧人前来辅佐，对灵祐禅师说：“我前来给和尚当典座，等住山僧达到五百人时，不管如何，请你放我下山。”灵祐禅师答应了。

从此，山下的居民渐渐知道山里住有和尚，于是相率共造梵宇。当时的宰相裴休与灵祐禅师关系甚为密切，也给予了灵祐禅师极大的支持和保护，尤其是会昌法难之后，大沩山很快成为风动天下的大丛林。灵祐禅师驻此传法长达四十多年，接众无数，后被奉为“禅门沩仰宗主”。