我挺讨厌的一个女同事，昨天说要我跟他一起...

我挺讨厌的一个女同事，昨天说要我跟他一起吃饭，我当时答应了，但第二天，我就找了一个借口，说我现在在外面有事回不去了，就退了跟他的饭局，但他生气了，我现在心里有点过意不去，感觉自己有点不讲诚信，我现在该怎么办