HTML5とCSS3は別物なので二つを同時に使うときに何をする、というのはないのですが、
HTMLの方は宣言文を
<!DOCTYPE html>にする、というのとあとはHTML5のルールを守るという事です。
各種タグや属性のルールが変わったり、廃止されたりしているので注意して下さい。
もう1つ言うと、HTML5で新しく定義されたタグ(articleやasideなど)を使う場合は古いブラウザで認識する事が出来ないので、html5.jsなどを使って、古いIEなどで新しいタグを認識できるようにします。