Những năm tháng đầu đời của 5 anh em nhà James khá khó khăn, vào giai đoạn từ 1842 và 1848, họ phải di chuyển liên tục từ Albany, New York đến châu Âu, New Port rồi lại Boston. Dù sinh ra ở Mỹ, lũ trẻ nhà James phải chịu đựng nhiều hệ thống giáo dục giáo dục khác nhau ở khắp nơi như: Geneva, London, Paris, Bologna và Bonn. Và trên hết, chúng là mục tiêu giáo dục của người cha khắc nghiệt, có tính đồng bóng kỳ quặc, giám sát con cái rất chặt chẽ và nuôi dạy con cái theo tham vọng của ông. Còn người mẹ lại là một bà nội trợ đúng nghĩa, cúc cung tận tụy, luôn mang trong mình một nỗi buồn u uất. Thậm chí, khi anh em nhà James đã trưởng thành, cha mẹ của họ còn giữ thói quen mở thư từ của con cái để xem.