遇到渣男，但还是放不下怎么办？

我和他是从soul认识的，刚聊天的时候，我就很喜欢他，刚好他提出见面，我就同意了。
见面的时候感觉也很不错，心动，想长期发展，后来我们吃完饭去看电影的时候，他就直接搂着我了，当时感觉不适，但也没说什么，看完电影，他要送我回家，我同意了，在我家楼下的时候，他突然亲我，我就很不能接受，当时就生气了，他可能只是想和我上床吧。我当时就是这么想的。他应该不会在联系我了，很伤心，我还挺喜欢他的，就是觉得太快了。
但是第二天他居然又和我说话了，我就还是回他，约我见面，我就很少同意了，很担心他就是玩玩，根本没打算认真，我又有点放不下。我该怎么办？