苦恼的妈妈

我是一个有两个孩子的妈妈，我工作不忙，就是偶尔需要早起，所以两个孩子都是两家老人帮着带，爷爷奶奶带一个，姥姥姥爷带一个，两个孩子只有周末才能聚在一起，我向往周末一家四口团聚的日子，可老公喜欢看书，几乎到了痴迷状态，他爱孩子，但不去花时间精力陪孩子，只要他有空闲时间，就是拿着手机看小说，为此我们天天吵架，我甚至想离婚。如果他是忙工作，无法陪伴我和孩子，我无话可说，可现在周末大白天躺在床上看小说，却不接孩子们团聚，我很苦恼，该怎么办呢？