隋唐之际，日本曾屡派“遣隋使”和“遣唐使”前来中国，许多中国乐器流传东瀛。

据浙江省国际文化交流协会副研究馆员孙以诚考证，日本尺八源于我国杭州。南宋时，日本名僧觉心来中国杭州护国仁王禅寺学习，在此期间向同门居士张参学会了吹奏“尺八”的技艺，回国带回尺八及尺八曲《虚铃》和《虚空》等。后来，心觉创立普化宗，传授“尺八”技艺，故将他所传授的尺八称为“普化尺八”。而至今仍保存在浙江省艺术学校校园内的护国仁王禅寺旧址就是日本“尺八”的祖庭。

最早传入日本的尺八仅用于宫廷雅乐，称为“古代尺八”，也常作为达官贵人的玩物，故也叫“雅乐尺八”。据传，日本圣德太子特别喜爱尺八，他当时所用的中国尺八，如今还珍藏在奈良的法隆寺中。     

1871年以后，“普化尺八”传于民间。日本现在使用的尺八就是从“普化尺八”演变而来的，不限长短，一般多为3节5孔、不设膜孔。它是日本民间主要的吹奏乐器，既能吹奏古典乐曲，也能演奏现代乐曲；还经常与筝和三味线一起合奏，甚至还能与西洋管弦乐队、电子风琴等合作。

此外，由我国传入日本的还有“一节切尺八”。