豊臣秀吉は、とても頭が切れる人であったが、やや読み書きが不得意であったため、
周りにお伽衆と言って、自分の経験話や学問などの話を聞かせる家来を置き、情報収集に努めた。
そのお伽衆として仕えたという、頓智が利き、今の落語家の始祖ともいわれる人物が、初代曽呂利新左エ門である。
大阪、堺で、刀の鞘を作っていた杉本新左エ門という鞘師で、作ったさやには刀がそろりと合うのでこの名がついたという。
ユーモラスなとんち話として（曽呂利新左エ門の米の話）がある。
豊臣秀吉から褒美を与えられることになった新左エ門、（米を一日目に一粒、二日目に二粒、三日目に四粒と、毎日倍々にして百日の間いただきたい）と申し出、（なんだ、欲のないやつめ！）と、秀吉は安請け合い、だが、計算してみると、莫大な量の米が必要と分かり、彼に謝る羽目になったという話。
江戸時代の彼が書いたと言われている（曽呂利狂歌拙）や甲子夜話-かっしやわー）が残されている。
北野武の新作映画（首）では、曽呂利新左エ門を、木村祐一が演じているが、茶道、香道
和歌に通じた奇行と頓智に富む人物ではあったとされるが、果たして、実在の人物であったとは言い切れないし、後世の創作であるという説もある。
叉、のちには、２代目の落語家、曽呂利新左エ門も登場するなど、情報が錯綜したままになっている。