我真的不是个男人吗？

简单介绍自己，离异两年，有一个四周岁的儿子，离婚原因，前妻出轨。
事情过去这么久了，心里也放下了不少，可是母亲的态度，却成了我最大的困境。
刚离婚时，我自己能意识到，有时候会把坏情绪带给孩子，我意识到这是个错误的行为。
慢慢的，自己感觉算是恢复正常了。只要我一管孩子，我妈就急，不让我打孩子，我不打了，孩子再犯错误，凶孩子，我妈还急。我尽量克制，可是到现在，我对孩子说话大点声都不行，前天我真的要崩溃了。孩子感冒了，因为老是不盖被子到处跑，我提醒了好几次，还是不听，我急了，大声让他盖上被子。谁知我妈居然说我不是个男人，每天管这种鸡毛蒜皮的事。并且说了好几遍，我真的气疯了，把手机摔了，没控制住脾气说了句脏话。回到自己屋里，真的气的浑身发麻。
赌气在外面呆了一整天，可我不能放下自己的孩子，回到家，我和我妈谁也不理谁。其实因为孩子的问题闹别扭，不是一次两次了，以前不管怎样我都会主动何解，并且给我妈做工作，告诉她我管孩子她不要插手。可这次，我真的够了，老人怎么说我都可以，但是她说我不是男人，这种侮辱我实在受不了。
现在我只有两个想法，要么带上孩子，找个别的城市，自己把孩子带大。要么离开所有人，自己出去闯一闯。
可我很犹豫，我很爱我儿子，我是独生子，我从没想过不尽孝道。
有哪位可以给我出出主意。