我是小三他每天都要我不能打他电话

我和一个已婚男士恋爱了，开始我并不知道，后来我知道他有家庭了，他不让我打他电话，之前我不知道到的时候打电话他都可有接，现在却不能了。原来做小三这么卑微。