• 21 Jul
    • Amazon側で提供しているランキングのホームページ形式のデータについて

      Amazon側で提供しているランキングのホームページ形式のデータについて ですが、複数の書式が混在して出力、表示されています。そのために、ボットを使うとかのスクレイピングでデータを取得する場合、ひとつの書式でエラーが出た場合、別の対応をする仕組みがないとうまくいきません。そしてそれを、タイトル、ASIN、リンクで行うわけです。AmazonAPIでやればいいじゃないかと思うのがふつうですが、残念ながら ランキングデータに関してはAmazonAPIは使えません。主にAPIは個々の商品データについて使うものとして、AMAZON側は考えているようです。

      テーマ:
  • 20 Jul
    • タイトル未定、画像なしの商品の表示修正

      タイトル未定、画像なしの商品の表示修正は管理者ログインで 修正モードにすると再取得ボタンが現れるので クリックします。 下は、15位の「忍物語」が修正するとデータを再取得して画像が表示されるようになりました例です。スクレイピングでランキングからデータを取得しているわけです。ちなみに、AmazonAPIでランキングを取得するのは難しいです。          ↓

      テーマ:
  • 01 Jul
    • Wordpress設置の順序、要点についての覚書

      Wordpress設置の順序、要点1、サーバにWordpress設置2、外観でテーマを選び有効化します3、設定→パーマリンクの設定(注意要、このやりかたでSEOに影響があります)4、(最重要)プラグインインストールし有効化、設定●Crazy Bone (狂骨)●Edit Author Slug必ず「ブログ上の表示名」 を 登録名と違ったものにして登録しますこれをしないと不正ログインされる危険性がでてきます●SiteGuard WP Plugin必ず画像認証は「ひらがな」選択●Google Analytics Dashboard for WP (GADWP)必ずgoogle アナリティクスのアカウントからトラッキング IDで連携させます上記の●は必須で設定も絶対に間違いないように緻密に行うことが重要ですGoogle Analytics Dashboard for WP 以外はブルートフォースアタックなどのサイト攻撃でWordpressじたいを乗っ取られないためのセキュリティ対策です。これらは絶対に緻密な設定を行うことです。欲を言えば.htaccessでログインページのアクセス制限を行うといいです5、プラグインインストール→有効化〇は設定しないと無意味ですAkismet Anti-Spam (アンチスパム)〇All In One SEO Pack〇Category Order and Taxonomy Terms Order〇Child Pages ShortcodePuSHPress〇Trust Form〇WP to TwitterYet Another Related Posts PluginWPtouch Mobile PluginWP Social Bookmarking LightWP Multibyte PatchGoogle XML Sitemapsこれにキュレーションサイトの場合は〇FeedWordPress6、設定→一般、投稿設定、表示設定、ディスカッションの設定7、外観→ウィジェット設定8、投稿上記4はセキュリティー上とても重要これが完璧でないとたいへんな事態になるので注意してね。下記のような攻撃を受けてサイトが乗っ取られることも多いので。この後にブログ村などとの連携が始まります。RSS先の選定も必要ですFeedをFacebookに流すのは集客上すごい効果ありですが、Wordpress→Facebookは困難ですWordpress→twitter→faccebookです。これにamebaブログを連携させたければamebaブログ→Wordpressは可能です★プラグインのインストール、設定はそのプラグイン名でGoogle検索し信頼性のある最近のページで確認してください。★初めてのWordpressの場合、プラグイン設定も含め何か作業をするたびに必ずID、パスワード、どのメールを登録したかなど記録をノートにとっておきましょう。あとで必ず必要になります。これをしないと、後でたいへん苦労しますよ。

      1
      テーマ:
  • 18 Mar
    • 2017/03/18 立ち読みbook 復旧しました

      2017/2/10より上記状態が続いておりました。Amazonランキングページのデータが取得できなかったわけですが、3/18にはほぼ完全回復しました。2016年から取得する情報の位置にタグが入るようになっています。今回それが変わっていました。それを除去して必要な情報にアクセスするようにしました。Amazonランキングページのタグはデザインの都合で頻繁に変わるようなので一段階はタグの種類を選ばずに処理。CSSの構造が大きく変わらなければ、一段階の対応でタグが変更になっても今後は修正しなくてよいということになります。返ってくるhtmlは二種類ありますが、一パターンのみの現象で、そちらしか返ってきていないためそれに対応。

      テーマ:
  • 10 Feb
  • 01 Feb
  • 28 Jan
  • 21 Jan
  • 30 Nov
    • 2016/11/30  立ち読みbook 復旧しましたです

      AmazonのAPIで一部のデータを取得、あとはスクレイピング が「立ち読みbook」もともとAmazonは探した商品データを取得する機能がAPIにあるが、ランキングデータ取得部分には工夫が必要。しかも、これがphpで取得してきたが今回 javascriptにAmazon側が変更。修復に時間がかかりました。そんなわけで直りましたが、これからはスクレイピングのサイト開発はひかえます。これ、検証に時間(かね)がかかるわけですし、本来、市場価格の半分以下で開発してきたのにこれじゃあ うちのカカク優位性という強みがなくなるわけですしね

      テーマ:
  • 19 Nov
  • 23 Sep
    • tachiyomibook.com復旧

      9月23日15時 tachiyomibook.com 復旧しました。とはいっても、何もやっていません。今回はAmazonでも立ち読みbookでもなく、サーバ側の要因のようです。データベースにログインできなくなっていました。DB容量は問題ないのですがサーバ側の不具合のようです。障害情報はでていなかったので、サーバのさくらさんにメールしておきました。

      テーマ:

ブログをはじめる

たくさんの芸能人・有名人が
書いているAmebaブログを
無料で簡単にはじめることができます。

公式トップブロガーへ応募

多くの方にご紹介したいブログを
執筆する方を「公式トップブロガー」
として認定しております。

芸能人・有名人ブログを開設

Amebaブログでは、芸能人・有名人ブログを
ご希望される著名人の方/事務所様を
随時募集しております。