关系越来越好？还是越来越疏远

我和他之前因为被调为同桌而相识，他是一个很开朗的男孩子，我有点内向，但是聊熟了以后也就聊开了，每天和他讲话都是一种乐趣，他也说，我让他的高中生活重新丰富起来。
后来，我们做了很久的同桌，关系越来越好了，但是我们都怕调座位，怕关系因为座位调开就没那么好了。然后我也有点喜欢他，他也知道，对我也有好感。前一段时间，真的调座位了，他的同桌是一个很可爱活泼开朗的女孩子，我每次看他俩聊的开心，都会吃醋，而且他让我下课去找他聊天，我也去了，但是大家都会认为我们在一起了，有点尴尬。
还有就是，觉得越熟了，但是话题越来越少了，虽然单独相处的时候很开心很自在，但还是觉得他并不是那么喜欢我
今天，我去找他借笔记，他翻开书，里面好多纸条，那是我以前给他写的，夹在书里，结果再往前翻，他赶紧把一个纸条收起来了，讲，这个不能给你看，然后我就越是好奇，他就打死不给我看，我就很郁闷，觉得他隐瞒我什么事，但我也觉得不告诉我也没什么，毕竟每个人都有隐私啊。
我之所以每天下课去找他聊天，是因为我快要去集训了，我和他私底下说好一起考到一个城市，一起努力。
另外他有一个喜欢的女孩，但是那个女孩他追不到
我该怎么办？继续还是放弃？