『時間』は『動く物』が一切ない絶対零度の世界では定義しようがありませんが、現在の宇宙は動くものだらけですから、『時間』を定めることができます。
地球の自転周期を『1日』と呼び、24時間と定めましたが、ドンピシャ24時間ではありません。
地球の公転周期を『1年』と呼び、ほぼ365日ですが、ドンピシャ365日ではありません。
また、公転周期は自転周期の整数倍ではないため、『うるう年』を設けて便宜上の調整を図っています。
そもそも現用の時間は、地球の自転周期を基に作ったものであり、地球で生活している我々人類にとって非常に便利ではありますが、物理学的にみて理論的な合理性や必然性はありません。
つまり、現用の時間の単位系は、あくまでも人間が便宜的に定めた実用単位系であり、普遍的な単位系ではありません。
物理学ではMKSA単位系（m、kg、秒、アンペア）を発展させた7項目からなるSI単位系（時間:秒、長さ:m、質量:kg、電流:アンペア、温度:ケルビン、物質量:モル、光度:カンデラ）を使うとしていますが、時間や長さについては実用単位系をそのまま流用するようです。
幸いにして現状の物理学はこれで成り立っていますから、改めて物理学に相応しい普遍的な時間の単位を考える必要はないのでしょうね。
※ 1日の時間変動に興味のある人は国立天文台のホームページを参照してください。
https://www.nao.ac.jp/faq/a0404.html