Django Mysql 正規表現とLIKEの性能調査

件数が増えると正規表現が圧倒的に遅くなってるな。

LIKE検索
'content__icontains'

正規表現
'content__iregex'

ENGINE=InnoDB DEFAULT CHARSET=utf8
+-------------------------+--------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-------------------------+--------------+------+-----+---------+----------------+
| content | longtext | YES | | NULL | |
+-------------------------+--------------+------+-----+---------+----------------+
5.4 KBで116行のデータ保存し検出する行は20行目

---------------------------------------
65041件のテーブルから61702件検索
---------------------------------------
search str:MySQL server version
search_db_like_flg : True
2013-07-01 18:35:50.215440
61702件
2013-07-01 18:35:54.786196

4秒

search str:MySQL server version
search_db_like_flg : False
2013-07-01 18:36:27.829811
61702件
2013-07-01 18:37:26.619358

59秒

---------------------------------------
65041件のテーブルから1件SELECT
---------------------------------------
search str:SUBARU IMPREZA
search_db_like_flg : True
2013-07-01 19:10:01.690396
1件
2013-07-01 19:10:06.635353

5秒

search str:SUBARU IMPREZA
search_db_like_flg : False
2013-07-01 18:51:51.615525
1件
2013-07-01 18:52:49.288095

58秒

1万件づつ増やして(途中で失敗して厳密じゃないけど)SELECTした結果
---------------------------------------
MySQL server version
search_db_like_flg : True
2013-07-01 18:15:55.731895
10027件
2013-07-01 18:15:56.669266

MySQL server version
search_db_like_flg : False
2013-07-01 18:15:16.723236
10027件
2013-07-01 18:15:27.476034
---------------------------------------
MySQL server version
search_db_like_flg : True
2013-07-01 18:17:18.013135
20026件
2013-07-01 18:17:19.658371

MySQL server version
search_db_like_flg : False
2013-07-01 18:18:08.309758
21706件
2013-07-01 18:18:30.078852
---------------------------------------
MySQL server version
search_db_like_flg : True
2013-07-01 18:28:23.484440
31705件
2013-07-01 18:28:25.772512

MySQL server version
search_db_like_flg : False
2013-07-01 18:28:47.537359
31705件
2013-07-01 18:29:18.857616
---------------------------------------
MySQL server version
search_db_like_flg : True
2013-07-01 18:30:27.338600
41704件
2013-07-01 18:30:30.336758

MySQL server version
search_db_like_flg : False
2013-07-01 18:31:26.043456
41704件
2013-07-01 18:32:06.448256
---------------------------------------
MySQL server version
search_db_like_flg : True
2013-07-01 18:34:14.960486
51703件
2013-07-01 18:34:18.681043

MySQL server version
search_db_like_flg : False
2013-07-01 18:33:00.604202
51703件
2013-07-01 18:33:49.882839

Apache /icons/以下をアクセス出来なくする

UbuntuのApacheの/icons/ 以下をアクセス出来ないように設定する方法。
みんなやってると思うけど、日本語のブログとかgoogleさんに聞いてもヒットしなかったので備忘録です。

#nano etc/apache2/mods-available/alias.conf

<IfModule alias_module>
#
# Aliases: Add here as many aliases as you need (with no limit). The format is
# Alias fakename realname
#
# Note that if you include a trailing / on fakename then the server will
# require it to be present in the URL. So "/icons" isn't aliased in this
# example, only "/icons/". If the fakename is slash-terminated, then the
# realname must also be slash terminated, and if the fakename omits the
# trailing slash, the realname must also omit it.
#
# We include the /icons/ alias for FancyIndexed directory listings. If
# you do not use FancyIndexing, you may comment this out.
#
#Alias /icons/ "/usr/share/apache2/icons/" ※コメントアウト

#<Directory "/usr/share/apache2/icons"> ※念のためIndexesを-Indexesにしといてコメントアウト
# Options -Indexes MultiViews　　　　　　　　　　　
# AllowOverride None
# Order allow,deny
# Allow from all
#</Directory>

</IfModule> 

ZAP、Fiddler4のチェーンプロキシー設定

ブラウザ -> ZAP -> Fiddler4 ->対象サイトって感じにしたかったので
その時の設定をメモしときます。

・インストール：

ZAP Proxy : https://www.owasp.org/index.php/OWASP_Zed_Attack_Proxy_Project
Fiddler4 : http://www.fiddler2.com/fiddler2/version.asp

・プロキシ－構成

　ブラウザ －> ZAP Proxy －> Fiddler4 －> 対象サイト

・ZAP Proxy設定

　[ツール]-[オプション]-[ローカル・プロキシ－]

※　ブラウザからの接続設定を行う

Address : localhost
ポート：8080

　[ツール]-[オプション]-[ネットワーク]

※　Fiddler4への接続設定を行う

アドレス／ドメイン名：localhost
ポート：8888

・Fiddler4設定

※　Fiddler4のプロキシ－設定をシステムプロキシ－設定をみないようにする

　１．ショートカットのリンク先に /noattachを設定する

"C:\Program Files (x86)\Fiddler2\Fiddler.exe" /noattach

　２．SSL通信をトラップする設定に変更

　[Tool]-[Fiddler Options]-[https]タブ

Decrypt HTTPS trafficのチェックをつける

　３．対象サイトに直接接続する設定に変更

　[Tool]-[Fiddler Options]-[Connections]タブ

Chain to upstoream gateway proxyのチェックを外す

※これで直接対象サイトにつながる

　４．アップストリームプロキシが必要なら設定

　[Rules]-[Custmize Rules]

static function OnBeforeRequest(oSession: Session) に下記を必要に応じて追記

// アップストリームプロキシの設定
oSession["x-overrideGateway"] = "xxx.xxx.xxx.xxx:ポート";

// proxy認証が必要なら下記の設定
oSession.oRequest["Proxy-Authorization"] = "認証用の文字列を設定";


これでZAPで改ざんして、その時のログをFiddler側でも取れるようになります。
全部のログをFiddlerに統一したいけど、ZAPも使わないとって場合も大丈夫です。