跟计较的长辈怎么相处？

因为工作原因，现在生活的地方离长辈他们家很近，他就特别关照我。
感谢归感谢，他一个大男人，特别计较特别小心眼，跟个大妈似的。平常对我好点就特别希望我感恩戴德那种，我有时候稍微没表达到位，或者说他给与我的帮助反而成了我的一种负担，我婉拒了，他就会很计较会生气。
说不清楚，比如吧今天晚上，他喊我去他朋友家吃饭，我谢绝了，一是去他朋友家，我都不认识跟过去尴不尴尬？二来我的确有事，今天约了电信的人修宽带。
然后他就跟我妈说了，抱怨我不去吃饭……我妈还不以为什么事，来问我，我很讶异，不是都说了我要等人修宽带么，还跟我妈说什么意思？就已经判定我是在推托找借口了？当时我妈被问的时候她也不知道什么事情啊，就说客气话呗，说可能我不愿意麻烦他们之类之类的，估计更坐实了长辈的猜想。
就觉得心好累诶，总是这样子，我没我的生活嘛？现在他就总表现得我欠他们家多大人情似的，有时候喊我，我没去就苦大仇深的样子，我都怕了……