南北朝是充滿民族斗爭和融合的時期。最初統一了北方的北魏政權，用道教和佛教作為精神的統治工具，宗教建築特別是佛教建築大量興造，出現了許多巨大的寺、塔、石窟和精美雕塑與壁畫。北魏立國140多年後又分裂成東魏和西魏，之後又被北齊和北周取代，頻繁的朝代更迭，使軍事重地雁門多蒙戰亂之災。據史書記載，從東魏至隋的70多年中，雁門山上大修長城的工程曾進行過5次之多，在這種歷史背景下，與長城一山之隔的白仁巖，恐難有營建寺廟之舉，仍處在早期草創，純任天然的階段。
唐代的天寶元年（公元742年），朝廷曾敕令天下“廟有頹廢者，所在長官量事修建，得道升仙之地，代遠跡存者，虔加禮醮”。當年慧遠幽棲演法之地是否受到地方長官的“禮醮”，或者“量事修建”？尚待進一步考證。不過位於雁門鳳凰山的來儀觀在朝令頒布後，於天寶八年（公元749年）改名天長觀，因一道士羽化升天，觀址很快得到繕治。唐代中期，雁門地區已有了圓果寺、天寧寺、天長觀、觀音寺、瑞雲觀、白楊神祠、文廟、太子廟、佛光寺、文殊寺等一批規模較大的寺、祠、廟、觀。散布於鄉村的小寺小廟更不知凡幾。相信當時白仁巖也決非隱秘無聞之地。還應注意，天寶以後不到百年，中國歷史上曾發生過“會昌滅佛”事件，這是唐武宗在位時限制佛教的政策，致使眾多寺剎拆除，僧徒遣散，其時白仁巖即使有了寺廟，也許因“滅佛”而遭破壞。
到了金代，尤其從大定十八年（公元1178年）開始，代州立監鑄“大定通寶”錢，官府大量開采州城南部山區的銅礦，冶煉鑄造國家流通的貨幣，一定程度上拉動了其他產業的發展，如：冶煉、鍛造、殖貨、建築、手工作坊等行當。在地域經濟相對發達的代州，也給宗教文化創造了有利的發展空間，故爾佛事活動比之前代更為活躍。大定年間，白仁巖寺的整治修繕得到民間的大力支持，樂善好施者，糾首經理者不乏其人。
二OO五年秋，我們在白仁巖寺內首次發現了金代的碑石、崖刻，為揭示白仁巖的悠久歷史提供了不可多得的珍貴資料。其一，殘碑3小塊，損泐過甚，內容不可卒讀，但有“我聖朝天德間……”，“曩遠公演法之際”，“靈泉”，“存者鹹已圯垝”等語句，可以斷定此碑為金代之物。天德（公元1149 1152年）是金海陵王完顏亮執政的年號，相當於南宋紹興十九年，距北宋結束不到二十年。殘碑的碑首僅能識讀“寺記”兩個完整的篆書字。殘碑的價值在於將白仁巖建寺修廟的歷史上推到北宋。其二，寺內巖壁上有“大定十五年七月二十日齊現”一則紀年題刻。刻字右側巖石 有剝落痕跡。無法知道刻寫內容，應該是款識。其三，另有一例題刻為“七月廿日武師□契平章作須彌座”。周圍沒有與此相關的文字。疑似工匠的制藝銘記，值得研究。
元代的白仁巖寺，從規模范圍上考察，基本保持了北宋和金時的格局。還是在二OO五年春天，我們在七星泉巖石上又發現了一處元代至元六年（公元1340年，後至元）四月初八日民間舉辦廟會的一組人名刻字。古代的習俗，廟會承辦者有提領、社長之類的人，均屬山外各村較有名望的頭目。四月初八日的廟會，一直延續到現在。傳統的廟會期間，鄉民要組織進行祈雨迎神、和尚誦經、求子托福、驅邪避鬼、占卜功名、祈禱風調雨順等名目繁多的風俗活動，持續3 5天不等，還請戲班子來為唱戲助興。時值春夏之交，滿山的松、杉、桦、桧經過冬天的冰雪洗禮，煥發出蒼翠郁勃的生機，雜花異卉盡相綻放，迎來四面八方的香客游人，不難想象出六百多年前那紅火熱鬧的場面。
元代晚期的至正十一年六月（公元1351年），白仁巖有過修葺，現在正殿後面的巖壁上留下了工匠的名字和線刻觀音坐像，也很珍貴。
有明一代，是白仁巖寺區人文景觀進一步拓展的時期，原址上大興土木工程首開歷朝之最。山口的外圍也相繼建起了寺廟，現在沿稱的小寺，就是其時所建，屬於主寺區的下院。院落單進四合，座北向南，為入山的必經之地，須先朝拜。寺內僧人還經營著周圍溝壑坡梁上的百余畝護寺莊田，收獲所得供養全寺。小寺以北半裡遠的路邊，又有背東向西的小廟一處，傳稱觀音廟，大凡乘騎坐轎者到此歇腳小憩，然後徒步登山，車馬則由廟內專人看管。進山前，人們也要焚香，祈願平安。觀音廟的西邊為廣緣寺，與觀音廟隔溝相望，規模不大，面南靠山而建，寺內古井一口，水尤清冽，鄉下人稱，寺的周圍原有合抱粗的松柏幾十棵，混生桦林，亦別有天地。
清乾隆五十年的《代州忐》雲：“晉釋慧遠建祠，巨石上有石浮圖，峰頭有說法台、棋枰石，而定心石則舌吐危崖之上，立者熊經。”慧遠於崞縣(今原平市)創立勝井院、代州創立白仁巖寺，31歲時隨師南下襄陽，後至廬山東林寺，創立蓮社念佛，行成淨土道場。因此說，白仁巖寺為淨土宗最早的祖庭。該寺創建於東晉升平元年至興亍二年(357—364)，修葺於唐宋，重建於明清。明時，慧庵、微庵發心重建正殿、前毆、伽藍殿、祖師殿，並山門、禅堂、東西廊庑，遂使該寺一一周備，棟宇宏偉，像設莊嚴，金碧輝煌，黝垩芳菲，又成了一大梵宇花宮。清乾隆三年(1738)，鄉人不忍其廢，又重建殿、閣、祠、庑、鐘鼓二樓，饬舊鼎新，表裡莊嚴，復為一大禅宗叢林。
1949年後還有山門、正殿、東西配殿和鐘鼓二樓，“文革”期間殿堂及尊像俱毀。近年來又重建大殿5楹，單檐歇山頂，前出廊，七踩斗拱，棂子形門窗，窗戶上方的木板上還繪有15幅佛教故事彩畫。殿內供有“西方三聖”，中為阿彌陀佛，站於蓮台上，左手托缽，右手掌心向外下垂，結施願印。左為觀音菩薩，又為大勢至菩薩。這3尊銅像高2米，衣紋流暢，色彩古樸，鑄造十分精致。大殿左面有明嘉靖三十九年(1560)、清乾降二十五年(1760)、清嘉慶二年(1798)及道光三年(1823)、十五午(1835)、二十五年(1845)、還有同治元年(1862)、光緒九年(1883)、公元2002年等重修碑記12通：大殿兩邊原有歌台和琴台，前面還有靜台。大殿前面為大雄寶殿、天王殿、山門、鐘鼓二偻等遺址，左前側有寮房3間，現住一位僧人。從寮房向東走有見方2米的石洞，內有淨土宗初祖慧遠法師的彩塑坐像。
