一般情况下如果你没有逾期供款或申请时关于收入证明的资料没有虚假，银行是无权要求你提前还贷的。即使你不按约定的贷款用途使用贷款，银行亦只能是按合同上浮你的利率，通常在贷款合同中有约定的。估计银行是内部检查发现了问题，信贷员为了让你积极配合而吓唬你的。

你可以向银行解释，我贷款后是用于支付了购房款，但后来原房主变挂不卖了，经协商后退回全额购房款，贷款合同中也没有约定这种情况一下要提前还款，也没有说明这种情况是违反贷款用途。再加上为贷款也支付了相应费用，提前还款银行也不会返还补偿这些费用，所以就不提前还款了。