ってか今まで何にも知らないで適当に入れてたことが良く分かりました。
ちゃんと調べると面白い。
上とかタブとかつかえる場合と、使えない場合とあって不思議でしたが、
あれってreadlineってライブラリなんですね。
納得!

./configure --help

とかあったんですね。知らなかった・・・。
一部不明ですが、調べた範囲で残します。
おまじない的にインストールするのは良くないですね。
世の中、ちゃんとオプション理解して正しくインストールされてるMySQLと
そうじゃないMySQLとどっちが多いんでしょうか?

インストールメモ

■MySQL 5.1.33のインストール
cd /usr/local/src/
wget http://dev.mysql.com/get/Downloads/MySQL-5.1/mysql-5.1.33.tar.gz/from/http://ftp.jaist.ac.jp/pub/mysql/
tar -xvzf mysql-5.1.33.tar.gz
cd mysql-5.1.33
./configure --help
CC=gcc #Makefireに情報を渡すための変数定義
CXX=gcc #Makefireに情報を渡すための変数定義
CFLAGS="-O3" CXX=gcc CXXFLAGS="-O3 \
-felide-constructors \
-fno-exceptions \
-fno-rtti"
./configure \
--prefix=/usr/local/mysql \ #インストールするディレクトリを指定
--with-charset=utf8 \ #デフォルトのキャラセットを変更
--with-innodb \ #innodbを利用する
--with-readline \ #タブ補完やヒストリ参照できるようにする
--localstatedir=/usr/local/mysql/data \ #データ保管ディレクトリの指定
--libexecdir=/usr/local/mysql/bin \ #プログラム実行ディレクトリの指定
--enable-thread-safe-client \ #
--enable-local-infile \ #LOAD FILE LOCALが使えるようにする
--enable-assembler \ #アセンブラを利用する
--with-pic \ #共有ライブラリのメモリ空間を共有する
--with-fast-mutexes \ #Queue for MySQLを利用する
--with-zlib-dir=bundled \ #zlibの場所を指定
--with-big-tables \ #行の制限を2^32から2^32^2に増加
--with-extra-charsets=complex \ #キャラクタセットを組み込む(※1)
--with-mysqld-user=mysql #MySQLデーモンを起動するユーザ

#--with-client-ldflags=-static \ #libsennaをmysqldに組み込むオプション
#--with-mysqld-ldflags=-static \ #libsennaをmysqldに組み込むオプション
#--with-senna \ #Sennaの組み込みオプション
#--with-mecab #mecabを組み込むためのオプション
#--with-yassl \
#--with-archive-storage-engine \
#--with-blackhole-storage-engine \
#--with-csv-storage-engine \
#--with-example-storage-engine \
#--with-federated-storage-engine \

※1 カンマで区切ったキャラクタセットのリスト、動的にロードできないすべての文字を含めるための complex、またはすべてのキャラクタセットをバイナリに含めるための all のいずれかである。

make
make install

#所有者の変更
chown -R root:mysql /usr/local/mysql/
chown -R mysql:mysql /usr/local/mysql/data

#データベースの初期化
su mysql
cd /usr/local/mysql/bin/
./mysql_install_db

#設定ファイルのコピー
cp /usr/local/mysql/share/mysql/my-medium.cnf /etc/my.cnf
vi /etc/my.cnf

#22行目に下記の設定を追加
#17 # The following options will be passed to all MySQL clients
#18 [client]
#22 default-character-set=utf8

#38行目に下記の設定を追加
#25 # The MySQL server
#26 [mysqld]
#38 default-table-type=InnoDB
#39 default-character-set=utf8

#138行目に下記の設定を追加
#135 [mysqldump]
#138 default-character-set=utf8

#mysqlの起動スクリプトコピー
#cp /usr/local/mysql/share/mysql/mysql.server /etc/init.d/mysqld
#mysqlの起動
#/etc/init.d/mysqld start
/usr/local/mysql/bin/mysqld_safe &

ちなみに、若干エラーが出てこの後微調整しました。
権限変更とパスワードに関しては省略します。

参考URL:
http://d.hatena.ne.jp/mir/20070803/p2
http://greenonions.blog5.fc2.com/blog-entry-51.html
http://dev.mysql.com/doc/refman/4.1/ja/configure-options.html
http://www.fireproject.jp/feature/c-language/etc/readline.html
http://d.hatena.ne.jp/mir/20070704/p1
http://q4m.31tools.com/install.php
http://labs.cybozu.co.jp/blog/kazuho/archives/2008/01/q4m.php