新环境，交际圈融不进去非要融入嘛？

最近新加入一个工作组里，在工作期间和组内成员没有发生任何矛盾，但是总是融入不到一起。最近她们总是聚餐，也叫我去了。第一次确实不想去我婉拒了，第二次我答应去了，她们在明明知道我要值班的情况下。把本来要晚上聚餐的时间转变为中午。我想问问大家，在一个工作组里，融不进去，我必须要融入她们的小集体嘛？
个人：1、我不太喜欢的我的工作组的人，觉得她们做事情和我风格不一样，首先她们本来就玩的好，做事比较阴，说话也阴阳怪气的，我觉得三观和思想不在一个层面，所以玩不到一起。
2.我不太想参与她们的任何事情，因为说多了第二天就把你说的话添油加醋的说到外面去说是我说的
3.我考虑过自身的问题，我有过几次买奶茶和她们示好，但是她们对我依旧如此。
4.个人成绩和能力我比较强，她们问我问题我都有回复
最近家人总对我说不合群，是我个人问题我开始陷入自我怀疑，麻烦大家帮帮我，我是不是一定要融入一个不喜欢的人群里才算合群？