我该怎样才能陪在我女儿身边？

我，是心里障碍者，好多时候是不能受自己控制的，会做出跟常人不一样的事情，所以我嫁的男人三番五次赶我走，今晚他又是砸这样砸那样赶我走，我们有一个两岁多的女儿，孩子他不给我，我不是非要耐着他，我是舍不得我女儿，我不知道我该怎么办？不知道怎么能一直陪着我女儿？