일반적으로 선종이 성립되는 근거는 보리달마(菩提達磨)가 중국으로 건너온 이래 육조혜능까지의 법맥이 형성되는 것에서 찾아 볼 수가 있다. 물론 달마의 정확한 인물과 연대에 관해서는 여러가지 설이 있지만, 보리달마를 중국선종 형성에 지대한 영향을 미친 처음의 인물로 보는 것이 가장 유력하다.
달마를 조사로 삼아서 이어 혜가(慧可), 승찬(僧璨), 도신(道信), 홍인(弘忍)으로 이어진다. 육조에 이르러서는 대통신수(大通神秀)와 대감혜능(大鑑慧能)으로 나뉘어 진다.
이후에 혜능의 제자인 하택신회(荷澤神會)에 의하여, 신수의 북종선(北宗禪)과 혜능의 남종선(南宗禪)이라는 명칭이 널리 쓰이게 되었다. 혜능으로부터 청원행사(靑源行思)와 남악회양(南岳懷讓)의 두 계통이 생겨나고 이것이 다시 임제, 위앙, 조동, 운문, 법안의 5종가풍(五宗家風)을 형성하게 되었다.
이 중에 임제종은 황룡(黃龍)과 양기(楊岐)의 두파로 나뉘게 되었는데, 이것을 통틀어서 5가7종(五家七宗)이라고 한다. 중국 불교 초기에는 선종이라는 명칭을 찾아보기가 어렵다. 달마가 중국에 오기 이전에는 여러가지의 역경(번역)사업과 격의불교(格義佛敎: 해석에만 치우친 불교)가 유행하였고, 달마가 중국에 온 이후로 그의 문하에서 능가종(楞伽宗: 선 이론을 뒷받침 하는 능가경의 이름을 인용한 종파)이라는 이름이 보인다.
4조 도신(道信)의 문하에 홍인(弘忍)등의 제자가 번성함에 따라 동산종東山宗이라는 이름이 보이기도 한다. 우두법융의 절관망수絶觀忘守 사상에 근거해서 우두종이 성립되었다고 하는데 사실 4祖 도신의 문하인 우두법융과 우두종과의 관계는 사실 좀 불확실한 면이 없지 않다. 신회와 혜능에 이르러 혜능쪽에서 달마를 조사로 받드는 달마종의 명칭이 보이기 시작한다.
이때에 이르러 북쪽의 신수와 남쪽의 혜능의 종파적 분리현상이 나타나기 시한 것 같다. 이것은 혜능의 제자인 하택신회의 노력인 것으로 보여진다. 혜능의 문하로 내려가면 하택종과 석두종, 그리고 홍주종의 명칭이 보인다. 하택종은 혜능의 제자인 하택신회가 一家를 이룬 것이고, 석두종은 청원행사의 뒤를 이어 석두희천(石頭希遷)이 일가를 이룬 것이다.
또한 홍주종은 남악회양의 뒤를 이은 강서의 미친 말 마조도일(馬祖道一)이 일가를 이룬 것이다. 초기에는 하택종이 번성하였으나, 이후에는 홍주종과 석두종이 더욱 크게 번성하였다고 한다. 특히 하택종은 혜능의 정통법맥이 바로 하택종임을 강조하였고, 규봉종밀 같은 이가 [선원제전집도서]에서 일체의 종파와 교의를 교선(敎禪)일치의 입장에서 정리하기도 하였다.
이심전심(以心傳心) 불립문자(不立文字)의 숙어는 바로 규봉종밀이 저술한 [禪源諸全集都序]에서 가장 먼저 찾아볼 수 있다. 하지만 이것은 다분히 하택종의 정통을 세우려는 시도로 볼 수 있다. 어쨌든 여기서부터 선종의 면모가 물씬 풍겨나기 시작한다. 강서 홍주종의 마조도일 과 호남 석두종의 석두희천 그리고 우두종의 경산법흠등이 당대의 3대 거장으로 추앙되면서 그들의 문하에 상당한 제자가 생겨난 것이다.
달마종이라는 이름으로 몇개의 법맥이 형성된 지 얼마 안되어 갑자기 그 전성기를 맞이하게 된 것이다. 마조도일, 석두희천, 그리고 우두종의 경산법흠(勁山法欽)의 문하에 백장회해(百丈懷海, 720-814), 오대무명(五臺無名, 722-792), 오대무착(五臺無着), 복흥도융(福興道融), 용안여해(龍安如海, 728-808), 용아원창(龍牙圓暢), 오흥법해(吳興法海), 태백관종(太白觀宗, 731-809), 양주도견(壤州道堅, 735-807), 청량징관(淸凉澄觀, 738-838), 서당지장(西堂智藏, 739-814), 단하천연(丹霞天然, 739-827), 장엄혜섭(莊嚴慧涉, 741-822), 협산여회(夾山如會, 744-822), 복우자재(伏牛自在), 부용태육(芙蓉太毓, 744-822), 천황도오(天皇道悟, 748-807), 약산유엄(藥山惟儼, 759-828), 불굴유칙(佛窟遺則, 772-830) 등 이 일시에 배출된 사실을 보면 선이 얼마나 발전을 하고 있는 가를 알 수 있다.
이들 제자들 속에는 마조도일과 석두희천 그리고 경산법흠을 오가면서 배운 사람이 많았다고 하니, 바야흐로 선종으로서의 형성이 보이기 시작하는 것이다. 석두종과 홍주종 그리고 우두종은 서로 교류가 많았던 것으로 추정되며 이것은 통틀어 남종南宗이라는 말 속에서 크게 흐름을 잡을 수 있을 것 같다. 특히 마조 도일의 문하인 백장회해에 의해서 백장청규(百丈淸規)가 만들어 졌는데 이것은 선을 중시하는 종파가 어느 정도 독립을 하고 있었다는 상황을 보여주는 것이다.
백장회해의 청규에 의해서 불전(佛殿)을 세우지 않고, 다만 법당(法堂)을 꾸미는 제도가 시작되고, 방장(方丈), 승당(僧堂), 등의 선원의 조직이 정비되었다. 그리고 좌선(坐禪), 입당(入堂), 재죽(齋粥), 보청(普請)등 총림의 운영규칙이 새롭게 제정되었다. 바야흐로 선을 중시하는 종파적 독립성이 생긴 것이다.
백장회해가 82세 되던 해(801)는 황벽희운(805년 입적)이나 위산영우(771-853) 그리고 규봉종밀(780-841)의 청년시대 내지 장년시대에 해당된다. 규봉종밀은 그의 저서인 {선원제전집도서}에서 '선(禪)'이라는 말을 많이 사용하였으며, 당시의 여러가지 종파와 교의를 정리하려는 입장을 보였다. 특히 황벽희운의 {전심법요}라는 저서에 보면 [我此禪宗, 從上相承已來, 不曾敎人求智求解](大藏經 48 p.382중) 라고 하는 데, 여기에서 바로 선종이라는 말이 등장한다.
이것으로 볼때 백장회해를 기점으로 해서 선종이라는 명칭이 성립되어 나갔음을 알 수가 있다. 대략적으로 선종이라는 종파적 독립성을 찾아볼 수 있는 것은 약 9세기 정도에 해당되지 않을까 한다. 이는 역사적으로 볼 때 중국의 당나라 시대중에서 안사의 난과 황소의 난 사이에 해당되며, 우리나라는 통일신라시대 말기에 해당된다.
역사적으로 바다의 왕자 장보고가 청해진을 설치해서 당나라로 가는 유학생과 상인을 보호하는 일을 하던 때가 828년 이후이다. 서양의 카알대제가 서로마제국을 부활한 해가 800년이고, 프랑크 왕국이 분열한 해가 870년이다. 대체적으로 중세 전반기의 중,후반부에 해당하는 것으로 볼 수 있다.
이렇게 해서 인도에서 전래된 보리달마의 선법(禪法)은 당나라 시대에 선종적 형태를 갖추게 되었고, 이어서 송대까지 발전을 하게 된다. 바야흐로 5가7종이 번성을 하는 것이다. 송대에 들어서 선종의 공안이 만들어 지게 되는 데 대표적인 것이 바로 설두중현(雪竇重顯)이 뽑은 송고백칙(頌古百則)과 굉지정각(宏智正覺)이 뽑은 송고백칙이다.
설두 중현이 묶은 송고백칙은 원오극근이 벽암록(碧巖錄으로 펴냈고, 굉지 정각의 송고백칙은 종용록으로 남았다. 어쨌든 벽암록과 종용록(從容錄)에 이르러 선종의 기연어구(機緣語句)와 문답상량(問答商量)이 정형화된 틀로 묶여서 수행의 지침으로 등장하게 된다. 한편 일본 조동종의 조사인 도오겐은 선종이라는 말 자체가 이미 백해무익하다고 주장하였는데, 그는 선종적 독립의 시기를 송대 정도로 보고 있기도 하다.
선의 문답이 곧 불교의 정수를 거량(擧量)하는 법의 문답이라고 할때에, 어찌 송대에만 있고, 선종에만 있겠는가. 하지만 여기에서 주로 살펴보고자 하는 것은 간화선(看話禪)의 종풍(宗風)이 형성되고 난 이후에 발전된 조사선(祖師禪)의 면목속에서 드러나는 여러가지 문답의 구체적인 모습이다. 그러하기에 중국선종의 성립을 간략히 고찰한 것이다.
하지만 간화선이 아닌 묵조선 계통의 조동종과 초기 선종사에 선의 문답이 없는 것이 아니며, 오히려 더 많다고도 할 수 있다. 하지만 현실적으로 한국불교에 가장 큰 영향력을 끼친 것이 바로 간화선의 종풍이며, 여기에 기반한 문답상량이 많기 때문에 간화선을 주로 고찰하는 것이다.
아무튼 간화선의 종풍은 대혜종고에 이르러 거의 완결적 구조를 갖추게 되며, 여기에 비해서 굉지정각의 선풍이 차별을 이루게 된다. 그래서 대혜종고와 굉지정각이 서로 비판하는 가운데, 간화선과 묵조선이라는 말이 생겨나게 되었다.