これは単純な話であなたのブログに魅力が無いからです。
日々の出来事を日記感覚で記事を書くのは別に否定はしませんが、
他人が見たときにそれは価値のあるかというと正直どうでもいい内容が多いです。
あなたが有名人なら当然ファンもいますし、日常的な内容でも関心のある人がいると思いますが、
大抵の人は一般人なわけで日記をつけたところで人は集まりません。
一般人がブログで集客するには、何か価値を提供しなければいけません。
それもとことん専門的な記事を書けば書くほどコアな読者が集まります。
当然のようにブックマークしてくれ他の人にも宣伝してくれます。
口コミほど効果的な宣伝は他にはありませんから。
内容を絞り込まなかった場合はいわゆる器用貧乏になってしまいます。
何かひとつに特化したブログは揺るがぬ価値をもたらします。
例としてあげると↓のようなブログが参考になります。
私は毎日（のように）自動販売機の写真を撮っています。こめんなさい。
はい、最強のブログです。
連日のようにただ自動販売機の写真を掲載し続けるだけ。
誰もマネできないというかマネしようと思っても三日坊主で終わるでしょう（笑）
内容が明確であり、少なからずコアな読者もついているでしょう。
あまりのシュールさにいつの間にかリピーターになってしまう危険あり。
いかに専門性に特化するか、
自分しか知らない知識に思わぬ価値が付くこともあります。
日記から脱皮してこうした特化ブログを書いてみると化ける可能性アリです。