Mi pareja me pide vivir con él, su hermana y sus sobrinas.

Mi pareja y yo estamos esperando un bebé que ya está próximo a nacer, él tiene 32 y es el menor de sus 2 hermanos (ella de 42 y su hermano de 46).
Toda su familia (papá, hermanos, sobrinas y él) vivían en una sola casa, todos dormían en un solo cuarto, él me daba a entender que yo me fuera a vivir con ellos, cosa que le dejé en claro, de la mejor manera que no quería, crecí como hija única y solo viví con mi mamá, por lo que me conozco y sé que vivir con tantas personas será un problema para mí a la larga.
Debido a la reciente pandemia, mi novio perdió a su papá y a su hermano mayor, por lo cual se tuvo que mudar de casa con su hermana y sobrinas (hijas de ella, 15 y 16 años).
Me dijo que no las podía dejar solas y lo entiendo completamente; pero la verdad es que yo no me veo viviendo bajo el mismo techo con todas esas personas.
Me siento egoísta pero también me da impotencia el no tener la oportunidad de comenzar mi propia familia únicamente porque su hermana (ya adulta) no puede mantenerse a ella misma, y no sé qué hacer, ni cómo hablar de ello con mi novio o en qué momento hacerlo.