Jauh di dalam hutan tropis, Yaiba Kurogane muda dengan tekun berlatih ilmu pedang bersama ayahnya, Kenjuurou, sama sekali tidak menyadari dunia modern. Namun, suatu hari, keduanya berakhir di dalam sebuah kontainer yang sedang menuju Jepang. Di sana, mereka bertemu dengan rival lama Kenjuurou, Raizou Mine, dan putrinya, Sayaka. Karena tidak punya pilihan lain, Yaiba menyetujui kesepakatan dengan keluarga Mine: jika dia mengalahkan murid terkuat di dojo mereka, dia akan diterima untuk tinggal.
Dengan menggunakan keterampilan khas dan kekuatan luar biasa, Yaiba mendapatkan tempatnya. Karena ingin melawan musuh yang lebih kuat, Yaiba mengikuti Sayaka ke sekolah—di mana dia dengan cepat kalah dari Takeshi Onimaru dan mengakuinya sebagai rival barunya. Dengan Onimaru mewarisi pedang garis keturunannya dan mendapatkan kekuatan iblis, Yaiba harus berlatih untuk menjadi lebih kuat dan mengalahkannya untuk selamanya.
