我该怎么办？

我该怎么办？我是91年的女生，他是95年的男生，我已婚，他未婚，刚开始认识也挺多话，他也会单身开车，一只手和我十指相扣，一起吃饭，拥抱，接吻，但是，从未越界！中途我们也分手过，但是第九天的时候，他通过朋友联系，我们又在一起了。
但是，最近。我感觉，不知道什么原因，是他话少了，还是我话少了。今天，给我发了消息，我回复了，他要一两个小时才回，他并没有上班。上午11点回复了他，下午1.40才回我。我就没有再回复他。
我很想放弃，我也知道我们长久不了，但是，我又舍不得他。面对这样，我该怎么办？