渡部坦言,他夢想生育54個孩子,因為他希望超越江戶幕府將軍德川家齊的記錄,讓自己的名字名留青史。由於日本法律不允許一夫多妻,渡部和他的妻子們並沒有法律上的婚姻登記,但這並不妨礙他們一起生活。
他目前正在尋找第五位妻子,儘管他聲稱非常珍惜現在的妻子們,但還是希望能迎接新的女友加入這個大家庭。