1600問テストでSiriがグーグル検索に惨敗。音声検索対決もG圧勝
ギズモード・ジャパン 7月4日(水)12時0分配信
拡大写真
パイパー・ジャフレイの名物アナリスト、ジーン・マンスター氏がSiriに1600問の質問をし、グーグル検索と比較するテストを実施。
パイパー・ジャフレイの名物アナリスト、ジーン・マンスター氏がSiriに1600問（街の喧騒で800問、静かな室内で800問）の質問をし、グーグル検索と比較するテストを実施。正答率はグーグルが約9割、Siriが約6～7割で、Siriが想像以上に使えないことがわかりました。
【動画付き記事】
これは28日（米時間）、クライアント宛てメモで明らかにしたもの。マンスター氏と言えばアップル大好きで、iPhone発売日にアップルストアの列の人数を数えたり、アップルのイベントに行って開発者にアプリ作るかどうか聞いて回ったり、足で情報を稼ぐアナリストですが、1600問とは...相変わらず徹底してますね。
テスト結果は以下の通りです。
・グーグルは100%の質問を理解した。
・グーグルの正答率は86%だった。
・Siriは喧騒の中では83%、静かな部屋では89%の質問を理解した。
・Siriの正答率は喧騒では62%、静かな部屋では68%だった。
（フォーチュンより）
「Siriは今のDからB以上まで成績を上げ、GoogleのB+並みかそれ以上に精度を上げないといけない」と氏は書いてます。
■買収前はピュアだった
SiriがCMと違うベータ製品だという話はギズでも昨年暮れ取り上げましたし、あのスティーブ・ウォズニアックですらSiri搭載iPhone 4S発売当日からそう言ってて、Gizmodo Galleryのイベントに来た際にも僕らに「アップルが買収する前の、独立したプロダクトだった頃のSiriは良かった」とこぼしてたんですね。
「前はとても正確だったのに、今はマーケティング主導の、正しくない回答だらけだ」（ウォズ）
今回のテストでも、ウォズがあのとき言った通りのことが起こってます。
「映画『シンデレラ』はいつ公開になった？」と尋ねると、Yelpの映画検索が出てくる。
「ラザニアに入ってるスパイスは何？」と尋ねると、メニューからラザニアを探すYelp検索になる。
「スペリオル湖（Lake Superior）に行きたいんだけど？」と言うと、「Lake Superior X-Ray」という会社への道順を答える。
（フォーチュンより）
...という調子でありまして、事実や役立つ情報より、マーケティング主導でYelpや企業の商用サイトに検索結果が汚染されちゃってるんですね。
もちろんアップルがことわっているように「Siriはベータだから」という逃げ方もできますが、ウォズが言うみたいにApp Storeでスタンドアローンのアプリだった頃（ジョブズ在任中に買収する前）より悪化してるのは「ベータだから」では説明がつかない現象です。
そういえばジョブズ公認伝記に書いてあったんですが、ジョブズはSiriの試運転の頃にはもう会社に出れないぐらい体が弱っていたので、今あるかたちでのSiriを見たのは最後の役員会の時だけ...それも容態が容態なので、ちょっと触っただけでそんなに興味も示さなかったそうです。そうでもなければあのジョブズが正答率68%のまま出荷するなんて考えられませんものね。
今度出るiOS 6は新Siri搭載で、今よりはずっと使えるみたいですけど、アップルもこういう商業主義はいっそ抜きにして、欲しい情報を直球で返すSiriにしてもらいたいですね。
--
訳注：マンスター氏がテストしたグーグル検索は音声認識ではなくキー入力による検索です。一番知りたいのはAndroid Jellybean新搭載の音声検索との比較ですが、新アシスタント機能「Google Now」も使ってる人の話ではSiriに圧勝なのだとか...。音声検索対決の動画も貼っておきますね。
参考記事：http://tech.fortune.cnn.com/2012/06/29/minneapolis-street-test-google-gets-a-b-apples-siri-gets-a-d/ [Fortune]
最終更新:7月4日(水)12時0分
携帯に向かって話してるあのCMはちと…（略。
実際に使えるのかどうなのか疑問だったけどこの記事で照明されたみたいだね。
暗黒の稲妻
ギズモード・ジャパン 7月4日(水)12時0分配信
拡大写真
パイパー・ジャフレイの名物アナリスト、ジーン・マンスター氏がSiriに1600問の質問をし、グーグル検索と比較するテストを実施。
パイパー・ジャフレイの名物アナリスト、ジーン・マンスター氏がSiriに1600問（街の喧騒で800問、静かな室内で800問）の質問をし、グーグル検索と比較するテストを実施。正答率はグーグルが約9割、Siriが約6～7割で、Siriが想像以上に使えないことがわかりました。
【動画付き記事】
これは28日（米時間）、クライアント宛てメモで明らかにしたもの。マンスター氏と言えばアップル大好きで、iPhone発売日にアップルストアの列の人数を数えたり、アップルのイベントに行って開発者にアプリ作るかどうか聞いて回ったり、足で情報を稼ぐアナリストですが、1600問とは...相変わらず徹底してますね。
テスト結果は以下の通りです。
・グーグルは100%の質問を理解した。
・グーグルの正答率は86%だった。
・Siriは喧騒の中では83%、静かな部屋では89%の質問を理解した。
・Siriの正答率は喧騒では62%、静かな部屋では68%だった。
（フォーチュンより）
「Siriは今のDからB以上まで成績を上げ、GoogleのB+並みかそれ以上に精度を上げないといけない」と氏は書いてます。
■買収前はピュアだった
SiriがCMと違うベータ製品だという話はギズでも昨年暮れ取り上げましたし、あのスティーブ・ウォズニアックですらSiri搭載iPhone 4S発売当日からそう言ってて、Gizmodo Galleryのイベントに来た際にも僕らに「アップルが買収する前の、独立したプロダクトだった頃のSiriは良かった」とこぼしてたんですね。
「前はとても正確だったのに、今はマーケティング主導の、正しくない回答だらけだ」（ウォズ）
今回のテストでも、ウォズがあのとき言った通りのことが起こってます。
「映画『シンデレラ』はいつ公開になった？」と尋ねると、Yelpの映画検索が出てくる。
「ラザニアに入ってるスパイスは何？」と尋ねると、メニューからラザニアを探すYelp検索になる。
「スペリオル湖（Lake Superior）に行きたいんだけど？」と言うと、「Lake Superior X-Ray」という会社への道順を答える。
（フォーチュンより）
...という調子でありまして、事実や役立つ情報より、マーケティング主導でYelpや企業の商用サイトに検索結果が汚染されちゃってるんですね。
もちろんアップルがことわっているように「Siriはベータだから」という逃げ方もできますが、ウォズが言うみたいにApp Storeでスタンドアローンのアプリだった頃（ジョブズ在任中に買収する前）より悪化してるのは「ベータだから」では説明がつかない現象です。
そういえばジョブズ公認伝記に書いてあったんですが、ジョブズはSiriの試運転の頃にはもう会社に出れないぐらい体が弱っていたので、今あるかたちでのSiriを見たのは最後の役員会の時だけ...それも容態が容態なので、ちょっと触っただけでそんなに興味も示さなかったそうです。そうでもなければあのジョブズが正答率68%のまま出荷するなんて考えられませんものね。
今度出るiOS 6は新Siri搭載で、今よりはずっと使えるみたいですけど、アップルもこういう商業主義はいっそ抜きにして、欲しい情報を直球で返すSiriにしてもらいたいですね。
--
訳注：マンスター氏がテストしたグーグル検索は音声認識ではなくキー入力による検索です。一番知りたいのはAndroid Jellybean新搭載の音声検索との比較ですが、新アシスタント機能「Google Now」も使ってる人の話ではSiriに圧勝なのだとか...。音声検索対決の動画も貼っておきますね。
参考記事：http://tech.fortune.cnn.com/2012/06/29/minneapolis-street-test-google-gets-a-b-apples-siri-gets-a-d/ [Fortune]
最終更新:7月4日(水)12時0分
携帯に向かって話してるあのCMはちと…（略。
実際に使えるのかどうなのか疑問だったけどこの記事で照明されたみたいだね。
暗黒の稲妻