¿Debo seguir con mi relación?

Hola, llevo en esta relación 10 años, estamos casados y tenemos dos gemelos de 21 meses. Y desde que nacieron las cosas se han ido poniendo más tensas y me ido dando cuenta de que no puedo seguir así, pero por mis hijos debo intentar solucionarlo en vez de romperlo.
Mi marido siempre ha sido muy celoso, desde que empezó la relación y me preguntó por mi pasado, por los chicos con los que había estado y luego pasado los meses me confesó que él no había estado con nadie más, ahora me dice que esa piedra la lleva arrastrando desde entonces, que no me respeté como mujer y no le esperé a él, que eso le crea mucha desconfianza. Aparte empezó a controlarme, tenía que decirle en todo momento si había llegado al trabajo, si salía, si iba a comprar, tenía que decirle si cambiaba de tienda, él me lo preguntaba por si me pasaba algo, saber dónde estoy decía, y si se me olvidaba se enfadaba y se cagaba en dios y se tiraba dos días sin hablarme. No le gustaba que quedara con los compañeros a tomar nada después del trabajo, lo que me aisló de ellos, mis amigos del pueblo al ver sus celos dejaron de hablarme a mí para quedar y empezaron a quedar con él para evitar problemas, y como me quedé embarazada empezó él a salir con ellos y quedarse con ellos de fiesta y yo me iba sola a casa. Y cuando nacieron los niños igual. Él en su pueblo se queda solo de fiesta, pero yo en el mío no porque también son sus amigos dice. Asi que me toca irme a casa a mí para estar con los niños.
Cuando hemos discutido en alguna fiesta se pone muy bruto y me agarra de las muñecas y me hace daño. Otro día que le dije: hijo me podrías ayudar al menos a calentar el biberón de los niños, estando él fuera con mis hermanas y su primo y cuando entró me dio una colleja fuerte por cómo se lo había dicho. Golpes a las paredes, mesas, aspavientos con los brazos e intimidación para quedar por encima de mi lo hace cada vez que discutimos .
Me tira en cara que estemos tanto tiempo con mi familia, pero yo me he ido refugiando en ellos y ahora hace un par de semanas les conté un poco la situación y ahora no lo aguantan, no quieren que esto siga. Pero a mí me da mucha pena y quiero solucionarlo, y no sé si a sido culpa mía, por no saber frenar este comportamiento desde el principio y no querer discutir. Pero no quiero dejar de ver a mis hijos una semana sí y otra no, si nos separamos. No lo podría soportar. Él no quiere ayuda psicológica dice que él solo lo va a solucionar, que se ha dado cuenta del problema. Yo necesito ayuda. ¿Esto lo puedo solucionar, después de habérselo contado a mi familia?¿Si aprendo a ponerle límites, funcionará?