Sa mère qui eut une importance capitale dans sa vie, lui donna le goût de la fiction en lui lisant des histoires, surtout celles de Stevenson.
Son frère David, fils préféré de sa mère, mourut lorsqu'il avait treize ans. Le petit Jimmy (diminutif de James) essaya de le remplacer dans le cœur de sa mère, allant jusqu'à s'habiller avec les vêtements du défunt. L'enfance de J. M. Barrie ne fut pas des plus heureuse.
Son mariage avec l'actrice Mary Ansell ne fut guère plus heureux. Sans enfant, l'union fut rompue par un divorce demandé par son épouse qui avait pris un amant.
Ami intime de la famille Llewelyn Davies, James cultivait une amitié ambiguë mais respectueuse avec la mère des enfants, Sylvia Llewelyn Davies. Lorsque Arthur Llewelyn Davies mourut, il s'impliqua davantages avec les Davies, leur fournissant un soutien financier, pourvoyant largement aux besoins de subsistance et éducation des enfants. Il proposa à Sylvia de l'épouser, ce qu'elle n'accepta pas. Sylvia mourut peu de temps plus tard, demandant que « J. M. B » soit l'administrateur et le gardien de ses fils. Il s'occupa donc des garçons pendant leur enfance et leur adolescence, devenant leur tuteur et traitant George, Jack, Peter, Michael et Nicholas comme ses fils. C'est le temps passé à leurs côtés, avant la mort de leurs parents, qui lui inspira les personnages de Peter Pan.
