Траст банк требует вернуть неполученный кредит

В 2012 году обратился в отделение банка Траст г. Тверь для получения кредита. Кредит одобрили, пришел получать деньги. После подписания договора выяснилось, что сумма меньше необходимой мне, поэтому я решил отказаться, на что сотрудник банка сказал, что я уже не могу отказаться. В этот же день я обратился в центральный офис банка в г. Твери, где управляющая сказала, что я могу отказаться. Я поехал обратно и написал соответствующее заявление. Сотрудник банка у меня его принял, но копии мне не отдал. Через два дня он позвонил и сказал, что отказ принят. В 2014 году и мне и моей жене начали звонить по поводу задолженности по кредиту. Могли звонить и в 7 утра и в 10 вечера. Я обратился в банк, где мне указали на подписанный мной договор, т.е. подпись есть - кредит брал - плати. Оказалось, что сумму кредита при подписании договора переводят на карту, которая осталась в банке, и начинается отсчет по кредиту. Т.е. в течение двух лет с суммы кредита, которую перевели на карту происходило ежемесячное автоматическое списание денежных средств на погашение и пользование кредитом. Теперь деньги кончились и начались звонки. Я считаю что платить за эту аферу или ошибку сотрудника банка я не должен.

Подскажите, как решить данную проблему? Правомерны ли действия банка и какие дальнейшие шаги я должен предпринять по отстаиванию своих интересов?