No entiendo por qué no le atraigo a las personas

Soy hombre de 26 años y bisexual.
Enfocándome principalmente a las relaciones con hombres, cuando empiezo a conocer a un chico, normalmente salimos y hay bastante química o al menos eso pienso yo. Soy alguien que cuida enormemente mi imagen corporal sin entrar en la obsesión (mi trabajo me exige cuidarme). Sé que soy atractivo tanto por percepción personal como porque otras personas me lo han dicho, y también sé que tengo una personalidad bastante agradable, soy muy tranquilo, llevadero, me cuesta muchísimo enojarme o disgustarme.
Al principio empiezo a salir con los hombres, y todo marcha bien (en lo único que no cedo es a tener sexo hasta que ya haya pasado algo de tiempo), pero después de ahí, siento que estas personas disfrutan de mi compañía, que les gusto, a mí me gustan, pero siempre se llega al punto donde me dicen que sienten que yo no esté listo para una relación, porque tengo muchas cosas que solucionar en mi vida (y sé que las tengo, y actualmente voy a psicólogo para que me ayude a organizar mi vida), nunca hablo de traumas de la infancia, abusos sexuales (viví uno), o de mis problemas. Intento dar la mejor imagen de mí, por mí y para ellos, pero al final, siempre me dicen que no sienten que yo pueda estar en una relación.
No salgo con varias personas al mismo tiempo, no tengo sexo casual, no soy promiscuo, o sea, soy un buen partido.
Profesional, guapo, me cuido físicamente, amable, pero parece que a los ojos de ellos, estoy "roto".
Esto me ha estado afectando un poquito mi seguridad emocional, porque ya no sé qué debo cambiar o mejorar, o qué hacer, y por momentos me siento extremadamente solo.