Картина задумывалась под названием «Сидящая на корточках пара», а ребёнка Шиле дописал позже — поверх букета цветов, взяв моделью маленького племянника Тони. Некоторые части, например левая рука мужчины, так и остались незаконченными.

Весной 1918 года «Семью» показали на 49-й выставке Венского сецессиона, где у Шиле были девятнадцать картин и двадцать четыре рисунка и для которой он сам нарисовал плакат. 28 октября того же года от испанского гриппа умерла его жена Эдит, ждавшая ребёнка, через три дня — сам художник. В 1948 году Бельведер купил картину у австрийского художника Ганса Бёлера.