То, что разозлится, это как раз ожидаемо. А вот потом? Потом-то как себя вести себя будет?
Фея, конечно, Вы сильная, сумели же себя пересилить и позвонить. А если вот так вот периодически названивая и получая Ваши отказы он перестанет звонить. Вы уверены, что не напомните ему о себе и в тот раз? Тут уж лучше бы резко и сразу. Но, не знаю, Вам виднее, безусловно.