電話での話し方に困っています

電話でのコミュニケーションについて悩んでいます…私が話している途中で終了してしまうことがあるんです。具体的には、相手の男性が私の言葉を聞いて電話を切るタイミングが少し早いと感じています。 最初の電話では、お互いの確認事項がまだ残っている状態で、私の「了解しました」という言葉で会話が終わったようで、その瞬間に切られてしまいました。
次の電話でも、話題が続いていると私は思っていたのですが、「そうですね」と応じたタイミングで、また電話が終了しました。
このままで大丈夫なのか、悩んでしまっています。どうすれば上手に彼とコミュニケーションをとれるでしょうか。