Je lui ai menti puis excusée mais cela a tout détruit

Bonjour, 

J'ai rencontré mon homme fin 2019, après plus de 3 ans de célibat (décès de mon ex compagnon). Juste Avant de le rencontrer,  j'ai eu une aventure avec qn rencontré lors d'une soirée et que j'ai vu seulement 2 fois. Je l'ai caché à mon homme et ai avoué avoir menti ( pour ne pas gâcher son point de vue sur moi, pour éviter un jugement) à  mon tord. C'est sûr et j'en suis consciente. 

Mon compagnon qui vit chez moi, m'en veut d'avoir menti et du coup n'a pas confiance en moi et remets tout en cause, chacune de mes paroles. Nous sommes en conflit permanent de ce fait. Je suis fatiguée de cette situation.

Il est également obnubilé de savoir exactement le nombre de personnes avec qui j'ai pu coucher. En effet pendant une période de ma vie, j'ai eu beaucoup d'aventures qui n'ont pas aboutis à des relations sérieuses  car je n'en avais pas envie. Je n'étais juste pas prête mais avais besoin de sentir que j'attirais, que je plaisais. 

Je n'ai pas caché que j'avais eu des aventures qui n'ont pas duré, mais je ne supporte pas son comportement  car il veut analyser pourquoi je ne me suis pas investie dans ces relations. J'ai beau expliquer que à l'époque je ne voulais pas, pour lui il y a un problème, que je dois voir un psy. Il dit que ce n'est pas normal de ne pas vouloir être franche, que je dois tout lui dire sans rien cacher.

j'accepte qu'il ait le droit de savoir avec qui( prénom) et quand, car  cela montre de la confiance et de l'honnêteté. 

De son côté,  il a eu seulement 3 relations dont la dernière a duré 10 ans. il a vecu un amour très fort voir fusionnel avec son ex et ont eu 2 enfants. Leur séparation a été  difficile. et il y a toujours des conflits. 

Je me remets en question constamment,  et me demande si mon couple n'est pas voué à l'échec et du coup pourquoi continuer. Je l'aime,  mais cela ne fait pas tout. Nos bases sont mauvaises et bien que je fasse des efforts,  j'ai l'impression que cela ne sert à rien. Alors pourquoi reste t il?