好次は、時貞が８歳になった頃キリシタンの間者として長崎の奉行所務めをしていた、名を磯部好次と替え表向きは直轄地にて雇われた役人としての仕事であったが、キリシタン狩りがいつ行われるのかそれを仲間に知らせる為に奉行所務めをしていた。好次は行長の元で、筆頭祐筆をしており、その経験を生かして文章を書く仕事にありついたのだ。幕府の動きを探る重要な仕事も担っていたことは言うまでもない。この頃、父、好次は長崎奉行所の下屋敷に暮らしておったが、家族と時貞は坂の上の屋敷に住んでおった。父は仕事や、内密で天草や、肥後に住んでいる自身の仲間との会合などに出かける為に、家を空けることが多かった。それゆえに南有馬出身の磯部三左衛門が時貞の養育係として育てておった。
磯部三左衛門には、倅がおり、その名を運之丞と言った、時貞と運之丞は年が近く、兄弟のようにして育っていった。時貞に兄弟はいなかったが、姉妹はいた。姉が一人と、妹が一人であった。三人ともとても美しく、時に時貞がふざけて女子の召し物を着ればさながら美人三姉妹といった感じになった。キリシタンである一家にとって、この期間がまだ幸せな時であったことに間違いはないであろう。
「父上、今日は蓑は軒へ下げずともよいのですか？」
「時貞、今日はよいようじゃ。そなたは賢い子じゃ。そして何よりも美しく生まれついたのう。男とはとても思えぬ容姿じゃ。」
「父上と母上がお美しいから、私もそう生まれついたのでしょう。そろそろ、剣の道場へ行ってまいります。」
時貞は間もなく元服の年となっておった。周囲の者も、時貞を一目見ようとよく屋敷の前で待ち構えていた。取り分け女子には高嶺の花といえども、その美しい顔を一目見らんと集まっていた。気の良い時貞は集まっている女子に微笑を返してくれる。まるで現代のアイドルのような感じである。その後ろを運之丞が少し離れてついて歩いていた。
「四郎様、相変わらずの人気でございますね。」
と小声で運之丞が囁いてきた、
「なんだ？嫉妬か？おぬしとてほら、ちゃんと取り巻きがおるではないか。」
微笑を浮かべたまま、時貞も囁いて返してきた。
「嫉妬などではございません。それにあれは、わたくしではございませぬ。四郎様の取り巻きでございます。先日あの者たちから、四郎様に文を渡してくれとさんざん頼まれて、それを断るのに苦労したのですから。」
「ハハハハ、それは申し訳ないことをしたのう。貰ってきてもかまわぬが、丁寧にお断りの文を書き、渡すだけじゃ。」
そう言いながら、二人は道場へ向かっていった。やはり、武士の子、剣術はあまり得意とは言えぬが、身を守るすべを身につけるは武士の生業、それ以外にも、書、学問、そして経を学ぶことに時間を惜しみなく使っていた。このころから、時貞には不思議な力があると、噂がたっていた、時折父に同行して諸々の場所で、道を説いているときに、体の具合が悪い者がおれば、その者の具合の悪い場所に手を当て、祈りをささげると、病が治癒していた。その者が「四郎様に治していただいた、四郎様は神が授けた子じゃ」などと触れ回りその噂が「四郎は神から使わされた子」変化しその噂を目当てに屋敷の前まで出向いてくる者も増え、強引に時貞に迫る者さえも出て来ていた。そのような体験をすれば、自ずと自身の身を守る術は身に付けようとするものだ。
道場で、木刀を手に持ち振り下ろす姿は一心不乱で、額に光る汗が、またこの男の美しさに強さを加えてみせる。男となりきってない顔にも、険しさが光、少年独特の色香を放っているようだった。その様子を、じっと見つめている男がいた。時貞の父と同じく奉行所で働く与力の一人で、まだ若く、時貞よりも7歳ほど年が上だった。ただ、この男が属する部署は、キリシタン狩りを行う部署であり、時貞の父がいつも気にしているところのものなのだ。