Linuxのドキュメントには次のように記載されている

現行の単方向リンクのリストによるディレクトリの実装で
一つのディレクト リ内のファイル数は
実運用上約 10-15k 個が上限になります
この制限はこのような大きなディレクトリ内のファイルを
作成および削除 (さらに検索) する時のパフォーマンスの
問題のためです
JF: Linux Kernel 2.4 Documentationext2.txt より

注:これは現在主流のext3ではなく古いext2のものだが
実際問題としてこの制限はほとんど変わっていない
xfsになると話は別

ということで、ひとつのディレクトリにつくれるファイル数は

1万個くらいにしておいたほうがいいようだ!!

これ以上になるとたとえばlsコマンドの反応も遅くなりがちで

開発やデバッグ作業自体が滞る

もちろん使用しているマシンやHDDの性能にもよる

またxfsといったさらに最新のファイルシステムだと

ひとつのディレクトリに数十万個程度のファイルは余裕キラキラ