要看怎么不成功了。如果是买方违约导致的不成功，一旦签了合同，那中介没有责任，应该收取中介费。如果是卖方违约导致的，那应该退，中介费由违约方支付。

关键在于你们的中介服务协议里有没有约定这种情形，没有的话，很难要求退还。