妻と一緒に出かけると子連れでも必ず帰宅が遅くなってしまう。子供に悪い影響でないか心配