一応対応が完了しているのですが記載しておきます。

KitKat(OS4.4)でsetFastScrollEnabledしても正しく利用ができません。
これはバグでございまして、OS4.4.3からは直ってるもようです。
うちのネクサスも4.4.4ですがいけました。

参考
https://code.google.com/p/android/issues/detail?id=63545
http://www.androidpolice.com/2014/04/03/bug-watch-in-kitkat-enabling-fast-scroll-in-code-will-not-work-on-first-listview-a-fix-is-incoming/

とはいえ、4,4,3未満の端末はあると思います。たとえばGALAXY S5を最近手に入れましたが4.4.2です。なので表示されません。
というか完全に表示されなければいいですが一瞬ちらつかせて消えるのでおかしいアプリに見えます。

なので使うときは対応必要ということですでにstackoverflowででとります。
http://stackoverflow.com/questions/20680329/listview-fast-scroll-bar-not-visible-for-first-time-in-4-4-kitkat

ソースをあげるとこんな感じ。

public static void setFastScrolledEnabled(final AdapterView<?> adapterView,
final boolean enable) {
final GridView gridView;
final ListView listView;
if (adapterView instanceof GridView) {
gridView = (GridView) adapterView;
listView = null;
} else if (adapterView instanceof ListView) {
listView = (ListView) adapterView;
gridView = null;
} else
throw new UnsupportedOperationException(
"setFastScrolledEnabled is only available for gridView/listView");
if (Build.VERSION.SDK_INT == VERSION_CODES.KITKAT)
adapterView.getViewTreeObserver().addOnGlobalLayoutListener(
new OnGlobalLayoutListener() {
@TargetApi(Build.VERSION_CODES.JELLY_BEAN)
@Override
public void onGlobalLayout() {
if (gridView != null)
gridView.setFastScrollEnabled(enable);
else if (listView != null)
listView.setFastScrollEnabled(enable);
adapterView.getViewTreeObserver()
.removeOnGlobalLayoutListener(this);
}
});
else if (gridView != null)
gridView.setFastScrollEnabled(enable);
else if (listView != null)
listView.setFastScrollEnabled(enable);
}

これでいけると思います。