世界的日曜WEBプログラマー日記 -7ページ目

世界的日曜WEBプログラマー日記

一年後に世界的なWEBサービスを運営するにはどうすればいいのか書いていく(予定)

Gyao!の動画をダウンロードする方法



Gyaoの動画をダウンロードする方法を探していた。そしてついに見つけた。
GyaO保存ダウンロード方法でGetASFStreamをよく見るが、これがどうして全く使えない。
Yahooがとっくに対策をしているようだ。

2014年7月現在で以下の方法でダウロードができた。

Gyao動画のダウンロード方法(保存法)
次のURLにアクセスし、ダウンロードしたいGyaoのURLを貼り付ける。
http://kmake.net/gyaommsurl/?url=http://kmake.net/gyaommsurl/

解析ボタンを押すと結果が表示される。
あとはそれをコピーして貼り付け、ターミナルで実行する。

なお、実行にはrtmpdumpというコマンドが必要で、LinuxのUbuntuなら
# apt-get install rtmpdump
でインストールできる。
windowsなら頑張って自分でダウンロードして、Pathを通し、ターミナルで実行するしかない。


なお、当然のことだけどダウンロードは違法です。
重要なのでもう一度言いますがダウンロードは違法です。

株式会社OctOpt
コンピューターサイエンス会社OctOptの技術公式ブログ
等々力 康弘
@rocky_house

Amazon Botoを使ってメールエラーを検出したい!



AmazonSESを使っていて、Bounce(バウンス:メールが相手に届かない)や苦情処理(Complaint)はどうやってやるのか。Pythonistな僕としてはboto(AmazonのAPI、Pythonラッパー)を使っているが、もちろんこれを使ってBounceなど取得したい。
で先に結論を言うとAPIとして提供されていないのでそういうことは出来ない!つまりBotoを使って確かめる手段は存在しない!!はぁ残念。また来週!

って。。正直びっくりしたが事実だった。
APIで取得する手段は存在しない。ただ知る手段はもちろん存在していて、それはAmazonSNS(通知サービス)を利用することだ。SESとスペルが似ているので勘違いしないこと。
SNSサービスは通知サービスで、例えばメールでエラーが起きた場合などPost通信や,EMailなどで通知してくれる。

なお通知先のEmailアドレスはPythonのBoto(API)で指定が出来る(ここに送れ的な)。例えばsend_raw_messageであればsourceに自分のメールアドレス、send_messageであればreply_pathにアドレスを入れるとそこに返信をしてくれる。この辺は自分で調べていただきたい。
・SendMessage系統のAPI
http://boto.readthedocs.org/en/latest/ref/ses.html#boto.ses.connection.SESConnection.send_email

さて、AmaznoSNSサービスを使うには登録をしないといけない。
また、AmazonSESサービスでSNSサービスのどの通知を使うかなど設定が必要だ。細かい手段方法は次の2つのサイトが非常に参考になった。

1.通知設定の設定方法
http://isket.jp/%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9F%E3%83%B3%E3%82%B0/%E3%83%90%E3%82%A6%E3%83%B3%E3%82%B9%E3%83%A1%E3%83%BC%E3%83%AB%E3%81%AE%E9%80%9A%E7%9F%A5%E3%82%92amazon-sns%E3%81%A7%E9%80%9A%E7%9F%A5%E3%81%99%E3%82%8B%E6%96%B9%E6%B3%95/

2.SES側からの設定については
http://blog.suz-lab.com/2012/10/amazon-ses-mailbox-simulator.html


上記2つのサイトでだいたい分かるはず。いやーごちそうさまでした。

株式会社OctOpt
コンピューターサイエンス会社OctOptの技術公式ブログ
等々力 康弘
@rocky_house


・Using Amazon SES in Python with Postman and Postfix
http://aws.amazon.com/articles/2405502737055650
こんにちわ。弁当宅配のマイ食ブログです。
最近業界で話題のLINODEをマイ食サーバーでは使っていました。
しかし、今回は更なるユーザーの満足度向上のため自社で爆速サーバーをつくることに決定し、その構築ノートを公開します。

今回は2014年4月17日(木曜日)にでたUbuntuLTSをつかってソフトウェアRAIDを構築しました。尚使用したHDDはみんな大好きサムソン社のSSDです。

本ブログではLINUX初心者が悩むべきハードウェアの構成や、ソフトウェアRAIDの概略など簡単に紹介をしようかと思います。

RAID

基本的にRAIDは3種類あります。
・Fake RAID
・Software RAID
・Hardware RAID

今回は真ん中のSoftware RAIDを使います。UbuntuでFakeRAIDを使うには少し癖(Grubブートの兼ね合い)があるのと、HardwareRAIDはお金もかかってしまいます。加えて最近のPCを使うのであればバス幅も太いためハードウェアRAIDと遜色なく使えるためです。

今回はSoftware RAID + LVMにて環境を構築しました。LVMは簡単に言えば論理的にドライブを増やせる仕組みです。RAIDであるとあまり意味ないともいわれますが、とにかく後々の事を考えるとLVMの方が柔軟性が高いので採用します。

大まかな構成

RAID#1 --> /boot (1GB):ext3
RAID#2 --> LVM

つまりRAID構成を2つ作るということです。

一つのRAIDにはBoot、もうひとつについてはLVMを作ります。LVMにおいて/(ルートディレクトリ)とswapを作ります。

LVMについて

LVM --> / :ext4
LVM --> swap(4GB):swap

環境によっては/home, /varなどを追加していいと思いますし、そのへんはユーザーの自由です。必須のファイルはboot, swap, /の3つ。この3つはどうしても定義しなくてはなりません。
今回はRAID#1にBoot,RAID#2にLVMを作成し、その中に/, swapを作りました。

その他
Boot
/bootに1GBは多すぎかもしれません。ただ最近/bootサイズが増えてきています。更にこの部分は後で変更が効きません。安全を取って1GBとしていますが、従来通り128MB程度にしてもいいと思います。このあたりは判断をお任せします。また、ファイルシステムはext3にしました。理由はext4よりも互換性が高いためです。ただ、ext4でも問題は無いです。判断は皆さんに任せます。

Swapについて
マシンに8GBメモリを載せていますがswap領域のサイズを4GBにしました。少し前までは実メモリの2倍が目安でしたが最近はメモリが大きくなってきているので等倍、あるいは1/2倍でしている人も少なくありません。

ルート以下の構成について
ファイルシステムは黙ってext4にします。これに異論はないはずです。
/home,/varなど切るべきかどうか。ここはサーバーの使われる環境によってことなります。本サーバーについてはユーザー利用などはほとんど考えてないことなどから切りませんでした。
パーティション分割は非常に頭を悩ませるところで後からサイズが足りなくなるなどすると色々と対応に負われます。しっかりとしたポリシーをもって分割して下さい。

株式会社OctOpt
コンピューターサイエンス会社OctOptの技術公式ブログ
等々力 康弘
@rocky_house