会不会影响孩子

我爸妈现在离婚了，我判给我妈。但是我跟我爸关系也很好。我现在自己也有儿子，可是我又不喜欢我妈现在的老公，我需要我妈帮我带孩子，我怕我儿子叫那个男的爷爷，而不认识我爸。我就是想知道我跟着我妈以后会不会影响我儿子。