Le shiba est une race japonaise autochtone depuis les temps les plus anciens. À l'origine, le mot « shiba » indique quelque chose de petit, et le mot «inu » signifie chien, ce qui donne donc un « petit chien ». L'habitat naturel du shiba inu était la région montagneuse face à la mer du Japon, où il était utilisé à la chasse au petit gibier et aux oiseaux. Selon les endroits d'où ils provenaient, il y avait de petites différences entre les sujets de cette race. Du fait que pendant la période allant de 1898 à 1912 des chiens comme les setters anglais et les pointers furent importés au Japon, on se mit à chasser pour le plaisir dans le pays et les shiba inu et ces chiens anglais furent fréquemment croisés ; de ce fait le shiba de pure race devint rare, si bien qu'entre 1912 et 1926, même dans son habitat, la race du shiba inu se réduisit à l'extrême. Vers 1928, des chasseurs et des lettrés, préoccupés par le maintien du shiba inu de pure race, commencèrent sérieusement à sauvegarder les quelques lignées pures et, en 1934, un standard unifié de la race shiba fut établi. En 1937, le shiba fut déclaré « monument naturel », à la suite de quoi la race fut élevée et améliorée pour devenir la magnifique race que nous connaissons aujourd'hui.