23.1.1から24.0.0にしたお。
古いOSだとなんかずれた。
既知の問題見たいね。

なんか対応が面倒なので、
昔からのやり方で直接サポートライブラリのソースみたほが早い。
SDK > extras > android > 以下略

とりあえずDividerが付いてしまってたので見てみるとスタイルが
<style name="PreferenceFragment">
    <item name="android:paddingLeft">0dp</item>
    <item name="android:paddingRight">0dp</item> 
    <item name="android:divider">?android:attr/listDivider</item>
</style>


PreferenceThemeOverlayのテーマはこんな感じになってた。
<style name="PreferenceThemeOverlay">
    <!-- 他のアイテムとか-->
    <item name="preferenceFragmentStyle">@style/PreferenceFragment </item>
    <item name="preferenceFragmentCompatStyle">@style/PreferenceFragment </item>
</style>


なので自分の方で以下なスタイルを作って
<style name="MyPreference.Fragment" parent="@style/PreferenceFragment">
    <item name="android:divider">@android:color/transparent</item>
</style>

すでにPreferenceThemeOverlayをオーバーライドしたスタイルは作ってあると思うのでそこを差し替えてOKかなと。
以下見たいな。
<style name="MyPreferenceThemeOverlay" parent="PreferenceThemeOverlay">
    <!-- 他のアイテムとか-->
    <item name="preferenceFragmentStyle">@style/MyPreference.Fragment</item>
    <item name="preferenceFragmentCompatStyle">@style/MyPreference.Fragment</item>
</style>

これでとりまDividerは直ったぽい。

次はv21以下でカテゴリーと他のアイテムの余白(padding)が違う感じ。
同じ状況になってるような方は多分カスタムレイアウトしてると思いますがこいつらが色々しちゃってる感じらしい?
android:paddingLeft="?attr/listPreferredItemPaddingLeft"
android:paddingRight="?attr/listPreferredItemPaddingRight"


まぁカスタムレイアウトしているなら
Preference.Categoryをオーバーライドしてるレイアウトファイル(v21以下)を修正してあげればいいかなと。
サポートライブラリのソース内にあるpreference_category.xmlが参考になるべし。
サンプル見てみるとpadding周りも前と変わってる気がするし。
まんまもってきてTextAppearanceとか変えたりしたほが早いかと思う。


そんな感じでとりあえずの対応はできそうかな。。

今回のサンプルをgithubにあげました。
https://github.com/m4242jp/ExamplePreferenceV7