Enligt legenden kom under 500-talet en man ifrån Indien till Kina. Han har ihågkommits som Bodhidharma eller Daruma (japanska). Denne man slog sig först ned i provinsen Liang där den lokala patronen Wu Di studerade buddhism. Daruma som lärde ut meditation och intuitiv förmåga missuppfattades dock av Wu Di, vars buddism var inriktad på att frälsa människor till ett liv efter detta, och han blev utkastad från dennes domäner. Daruma reste vidare och slog sig slutligen ned vid Shaolin som var ett tempel vid berget Hao-shan i det som idag är provinsen Henan i Kina. Här blev han accepterad och den buddhism som nu kom att spridas härifrån blev känd som Chan eller Zen i sin japanska översättning.

Darumas huvudsakliga utövning av buddhism var sittande meditation (zazen 座禅) vilket hans lärjungar utövade flitigt. Lärjungarnas långa meditations-perioder gjorde att deras fysik försvagades och därför bestämde sig Daruma för att lära ut de stridstekniker han lärt sig i Indien. Genom detta kunde lärjungarnas fysik förbättras och de kunde då lättare orka med de långa meditationsperioderna. Efter en period visade det sig att stridsteknikerna var minst lika bra träning som meditationen och stridsteknikerna blev snart den huvudsakliga träningen. Det är denna utveckling som gjort Shaolin-templet så känt världen över.

I Shaolin finns ett rum med en stor väggmålning föreställande indiska och kinesiska munkar som tillsynes leende och i vänskap tränade med varandra.

Denna målning var inspirationskällan till att Shorinji Kempo bildades 1947 i Japan. Grundaren till Shorinji Kempo var Doshin So som under 17 år levt i Kina arbetande för den japanska underrättelsetjänsten. Doshin Sos täckmantel under dessa år var att han var taoistmunk och genom detta kunde han lättare resa runt i landet och utföra sitt arbete åt den japanska armén. Under dessa år studerande han ett flertal stridskonster och blev i Shaolin utnämnd till mästare av den 21:a generationen i skolan Shaolin Giwamonken av sin lärare Wen Taizong. Men det var framförallt väggmålningen på Shaolintemplet som han studerat vid de många tillfällen han besökt templet som inspirerade honom mest då han grundade Shorinji Kempo.