L’histoire est celle de Shô, un jeune garçon âgé de 12 ans, convalescent, qui vient s’installer chez sa grand-mère et sa domestique. Les deux vieilles dames vivent dans une ancienne demeure, au jardin un peu à l’abandon, à l’ouest de Tokyo. C’est aussi là, sous le plancher, que résident les membres d’une famille pas plus haute que quelques centimètres, composée de Pod, le père, Homily, la mère, et de leur fille de 14 ans, Arrietty. Ils ont pour règle de ne jamais être vus par les êtres humains de taille normale. Cependant, le jeune garçon ne tarde pas à rencontrer Arrietty. À partir de là, commence entre eux une romance juvénile et il faudra bien du courage à la jeune fille pour parvenir à conserver son amitié avec le garçon appartenant au royaume des hommes, chose strictement interdite par les siens, sous peine de voir leur discrète survie compromise.