Mi novio dice que quiere estar solo

No sé si llamarlo novio, porque nunca me pidió para estar en una relación. Nosotros comenzamos a salir durante un tiempo y después el me dejó, diciendo que no olvidaba a su ex. Yo insistí para volver, él dice que yo soy muy niña para él (fue mi primera relación). Dije que pondría de mi parte y volvimos, pero la sombra de la ex me seguía a todas partes. Tuvimos meses buenos con idas y venidas siempre por mi inseguridad, cuando yo intentaba terminar, él buscaba soluciones para que no se acabara, hasta que un día, mi confusión e inseguridad por su ex volvió y lo terminé. Antes de eso me había dicho que estaba volviendo a la época de querer estar solo, pero que esta vez sería diferente porque no se alejaría de mí. El punto es que cuando lo terminé, el no me buscó, yo me sentí mal porque él no estaba pasando por un buen momento, y quizás yo podría haber reaccionado de otra manera y no simplemente terminarlo, así que le pedí para regresar, y él me dijo que estaba bien así, que se sentía tranquilo y que no quería volver. Días después llegamos a un acuerdo de no volver a mencionar a su ex y que yo sería más liberal sexualmente (otro punto por el cual discutíamos porque es mi primera vez en todo y yo tenía miedo de experimentar otras cosas) y volvimos. Pero igual lo sentía distante, y ahora me acaba de decir que con él siempre habrá momentos en los que quiera estar solo, le dije si quería terminar conmigo, y me respondió que quiere estar solo, que no quiere nada y que lo siente. ¿Qué hago? ¿Me toca esperar a que vuelva o ya de plano olvidarlo?