根据众鑫玩卡介绍，如果贷款人意外死亡，留下的遗产不足以还清剩余贷款，家人又不愿意偿还的情况下，遗产会被用以偿还贷款，剩余不足的款项需要担保人偿还。\r 而若留下的遗产足以偿还剩余的贷款，家人想要继承的话，就必须由家人偿还，担保人不用偿还。但若家人想要继承遗产，又拒不支付贷款，那么银行是有权利找担保人还款的。\r

主要看你当时签的担保书中对担保责任的规定。

如果是无限担保责任，当借款人无法还款时，则时担保人全额代偿借款本息。

如果是有限担保责任，则根据担保书中的规定来承担担保责任。