親との関係

私は42歳、未婚で一人息子がいます。息子が小学校入学と同時に実家を出ました。それまでは息子を夜みてもらって、週2日夜のバイトも掛け持ちでしていました。
実家を出て5ヶ月ほどたちました。
私は色々あって、親と距離をおきたくて
会いたくなくて、ほぼ帰っていないのですが、息子がたまに実家に行きたいといってきます。
連れて行かないといけないんでしょうか。