不支持他投资和回老家发展，我到底自私吗？

我和老公结婚十年，由于我的原因，一直没有小孩。他对我不离不弃，我很是感动。但他有一个点让我有点困惑：他的梦想是做一个很成功的人，赚很多钱。所以，这十年间我们一有了点钱他就去投资炒股，亏损了很多。最近又在搞一个网络课程，也投资较大目前还在亏损状态。这几年的亏损，让我不再相信他的眼光。所以一说到投资我就有些害怕，自然我就会说一些反对的话。他就很不高兴，说我不支持他。慢慢地，我俩共同话题也越来越少。感情也不如从前。最近又发生了一个事情让我们的感情急剧下降：他想回他的老家去发展他所谓的事业，想办法让我和他都能调入他老家的单位。他老家比较穷，离主城区远，地理和经济上不如我们现在生活的城市。所以我不想去。他宁愿和我离婚都要去，但后来他父母因为我不去便死活不同意他去，他无奈地留在了我们现在的地方。但是他恨我，说我毁了他的前途。我太自私，明知道在这个地方他的事业不会发展得很好，也不支持他回老家。我自私吗