当然アスペルガー症候群の方にも趣味はあるわけです。
ステレオタイプですが、鉄道とかアニメとか好きなイメージがあります。
興味関心の幅が狭く、こだわりが強いと一般的に言われていますし、趣味にもどっぷりのめりこむイメージがあります。
ちなみに自分のリアルの知り合いのアスペルガーの方は、同人誌の収集とD言語とかいう訳わからないプログラミングが趣味らしいですが・・・。
アスペルガーの方はそのような一人でやる趣味（上記のような鉄道や収集、プログラミングなど）の方が多いという印象はあります。
しかし、もちろん世の中には他人と一緒に行う趣味も多くあり、他人と一緒に行う趣味をもっているアスペルガーの方もいるでしょう。
他人と一緒に行う趣味においては、コミュニケーションが当然必要になりますので、アスペルガーの方は苦労すると考えられます。
チームプレイが必要なスポーツは仲間とのコミュニケーションや信頼関係構築が必要ですし、
勝ち負けのある勝負事においては、相手の気持ちがわからないと気分を害してしまう言動（例えば勝ったことを馬鹿みたいに喜ぶなど）をしてしまうこともあるでしょう。
アスペルガーの方が、「囲碁は困難」という話をされていました。
囲碁におけるアスペルガー困難さに、どんなことがあるのかなと勝手に想像してみました。
終局の同意はお互いの阿吽の呼吸みたいなところがあり、それが読み取れない可能性があります。 相手が「もう手はないな」と感じているのにもかかわらず、その雰囲気を読み取らないまま、死にやセキを求めて、相手の地に手を入れるなどは、相手の気分を害するかなと思います
もちろん、明確に手があり相手が見落としているなら別です。問題は、通常ならば生きているのに、相手の応手のミスを期待するような態度です。 この辺りは、棋力も求められますので初心者ならば仕方ないと思いますが、やはり気持ちよく相手と打つには、相応の読みや死活を身に着けることは前提としてあるのでしょう。
大会ではなく碁会所などで趣味で打つ場合は、あまりに勝ちを無理やりもぎ取る姿勢は嫌われるかもしれません。 最後のダメ詰めの時に、万一手が発生しても遠慮したり、教えてあげるのが通常かもしれません。先に書きましたが、通常ならば成立しないような手を求めて（相手のミスを期待して）相手の地にひたすら打ち続けるなどは遠慮するべきでしょう。
囲碁は勝負事ですが、そもそも置碁というハンデのルールがあり、大会でもない限り勝ち負けにいは意味がないと自分自身は思っています。ひょっとすると、私と同じように勝ち負けには興味がない方は結構多いかもしれません。
そういう人の考えや気持ちを察しないまま、勝ちにこだわる姿勢で打つ（先述のように手を求めてあがくようなこと）のはトラブルの元になるかもしれません。
少なくとも、僕はそういう相手とは、正直対局をしたくありません。僕は勝ち負けではなく、気持ちよく打てたか を重視しているので。
脈略もなく、思い立ったことダラダラと書いてみました。
囲碁に限らず、人と一緒に行う趣味である以上、どんな趣味にもこういった難しさがきっとあるでしょう。 どのような困難があるかをきちんと認識し、そういうシーンに遭遇した時に、うまく自分をコントロールしていくことが、仲間と趣味を楽しむために必要なのでしょう。