参考になったのは、「Posts Tagged ‘XM6i’」で、幾つかのバージョンのXM6iの動作確認記事でした。一通り読んでみるとVer0.38がうまく動かず、「v0.37までは正常に起動できていました」と書いてあったことです。手元で試した時に最新版のver.0.52が動かなかったのですがもしかすると古いバージョンなら動くかもしれないと思い、
「XM6i - クロスプラットフォーム X68000/X68030 エミュレータ」サイトの「過去のバージョンのダウンロード」からひととおりMacintosh版の古いバージョンをダウンロードして起動してみることにしました。
その結果、Ver.0.37、0.39、0.41、0.42、0.50は起動が確認できました。

一方、Ver.0.38、0.51、0.52はMac OS X 10.8.5、10.9.5、10.11.2のどのOSバージョンでも起動できませんでした。どうやらXM6iはバージョンが上がるほど安定するとは言えないようです。
起動が確認できたので、IPLROM.DATとCGROM.DATを別なサイトからダウンロード入手して最低限の設定をして

起動してみたところ、懐かしいX68000の起動画面を見ることができました。

さらにX68000開発元のSharpが無償公開したHuman68k(X68000のOS)イメージをretropc.netの「Human68k version 3.02 のシステムディスク」からダウンロードしてきてXM6iの[FD0]にXDF形式のまま読み込ませたところHuman68kが起動しました。

XM6iには沢山の設定があります。

まだそれぞれの設定の詳細はわからないのですが、「NetBSD/x68k 6.1.3 on XM6i ver 0.41」に簡単なドキュメントがありました。
気が向いたら設定を調べて試したいと思っています。
#追記(2016/05/10)
上記のとおり,ver.0.50で起動を確認していたのですが、改めて起動しようとしたらエラーになりました。

このエラーダイアログを見ると、設定ファイルが存在するフォルダからファイルが読み出せなかったというエラーメッセージが出ています。このダイアログに指定されているフォルダ構成どおりにフォルダを作り、フォルダ内にIPL.ROM、CGROM.dat、SRAM.DAT、XM6i-0.50.xmx,XM6i本体をコピーしてXM6iを起動したところ起動できました。どうやら一旦起動ができるとここには表示されていない設定ファイルを別なところに作成して、起動時には.xmx(起動用設定ファイル)を読み出す構造になっている様です。(Mac OS XはEl Capitan 10.11.4で確認)
2016年1月リリースのXM6i 0.53は起動の確認のできたXM6i 0.50と入れ替えて起動してみましたが、エラーで起動できませんでした。
#追記(2022/12/10)
XM6iの配布サイトは移転した様です。「XM6i」で検索すると見つかります。暫く更新されていない様ですが、XM6i ver0.55から入手可能です。