
413mの斜古丹山を中心に島全体が比較的なだらかな山地・丘陵になっており、カラマツの近縁種であるグイマツや、ウルップソウなどの高山植物に恵まれた自然の宝庫でもある。第二次世界大戦前最後にあたる1940年の国勢調査では、1,499人が住んでいた。村役場が置かれた場所は北東部の斜古丹湾岸で、学校や駅逓、郵便取扱所も設けられ、斜古丹という名の集落をなしていた。島の南北両岸には天然の良港が多く、コンブ・サケなどの漁業が主産業であった。

空港は無いので船のみのアクセスとなる。樺太の大泊(コルサコフ)港から、3月から12月まで週2便、サハリンクリル海運の船が斜古丹港へと結んでいる。ロシアのビザと色丹島に有効な通行許可証があれば、日本人はじめ外国人の乗船もできる。港は深いので、国後島や択捉島と異なり、船は艀なしで直接港に横付けとなる。ただし日本のビザなし交流団に限っては、斜古丹港にある国境警備隊基地の機密保持のため、根室港から穴澗港へのアクセスとなる。なお、穴澗港も直接船が横付けできるほどの深度があるものの、近年は穴澗の水産加工場の廃液によるヘドロの堆積が著しいため、艀を使っての上陸となっている。