AWS re:Invent2015参加レポ(2) | サイバーエージェント 公式エンジニアブログ

re:Invent2015


Ameba統括本部CTOなICHIROです.
数年どころじゃなくて5年ぶりくらいに,このブログでのエントリを書いています.
もともと秋葉原ラボでHadoop回りをやっていたりするので,いわゆるBigData関連のセッションと動画が好きなので動画関連のセッション中心に書いていこうかなと思います.

BigData関連
1日目のKeynoteではQuickSightというブラウザベースのBIツールが紹介されました.
データの置き場としてはS3とRedshiftあたりが想定されているようです.
今までRedshiftはあるものの,簡便に分析やダッシュボード共有ができないという点がありましたが,それを解決する一手法になりそうです.
データの投入もKinesis Firehoseの登場で容易になりそうです.

また,既に大量のデータを持っていることを想定してSnowballも登場しました.
セキュリティの確保されたデバイスで,宅配業者を使ってデータを輸送するという,なんとも功利的な手法です.
たしかに,大量データをどうやって転送するかという話題では,「UPSで送ればいいんだよ」という回答は目にしたことがありますが,実際にサービスとして提供してくるとは驚きです.

2日目のKeynoteではAmazon Kinesis Analyticsが紹介され,ストリームデータを処理する方法の幅と簡便さが広がりそうです.
さらにLambdaなどと組み合わせて,いわゆるIoT分野での活用も意図しているようです.
また,X1インスタンスという非常にハイスペックなインスタンスも登場し,分析用途などインメモリデータベースで力技での解決ということもできそうです.

KeynoteからもBigData,IoT分野での活用を推し進めるためのサービスを一気に揃えてきたなという印象でした.
Keynote動画
https://www.youtube.com/watch?v=D5-ifl7KJ00(1日目)
https://www.youtube.com/watch?v=y-0Wf2Zyi5Q(2日目)


ブレークアウトセッションでもAWSを活用したBigData関連のセッションが多くありました.

Netflixの事例では特に顕著でしたが,データはS3に集約するという事例が多くありました.
そこにHadoop(もしくはEMR),SparkやPrestoといったミドルウェア,フレームワークを使ってデータ分析につなげるという形です.
また,Kinesisを使いストリームデータ処理を実現する事例も増えてきている印象でした.
ただ,個人的にはHadoopを使っているとS3にデータを置いておくのは,データローカリティの観点からあまり効率的ではない印象があります.
これもSparkなどを使うとあまり影響しないとかいうこともあるのかもしれませんね.
AmebaでもAWS上でのHBaseやSparkクラスタという事例はありますので,そのあたりは幅広い観点で見ていかないといけない時期になっているのかもしれません.

BDT317 - Building a Data Lake on AWS
http://www.slideshare.net/AmazonWebServices/bdt317-building-a-data-lake-on-aws
BDT303 - Running Spark and Presto on the Netflix Big Data Platform
http://www.slideshare.net/AmazonWebServices/bdt303-running-spark-and-presto-on-the-netflix-big-data-platform
BDT310 - Big Data Architectural Patterns and Best Practices on AWS
http://www.slideshare.net/AmazonWebServices/bdt310-big-data-architectural-patterns-and-best-practices-on-aws
BDT403 - Best Practices for Building Real-time Streaming Applications with Amazon Kinesis
https://www.youtube.com/watch?v=JFfvD2cw2IE

動画関連
Amazon Videoの事例ではユーザ側のエラー率やリバッファリング率をきっちり見ていくことから始めて,CDNの最適化を行っていくという話がありました.
VODサービスでは不人気の動画がキャッシュに乗らないため,一般的なCDNではエラー率やリバッファリング率が高くなるとのことでしたが,CloudFrontでは先読みなどを効果的に使い効率よく配信できるようになったそうです.
また主要なISPとのDirect Peeringも行っているようですし(CDNとしては普通なことな気もしますが),エッジに大きいオブジェクトが置けるような状態になっているようなので,VODサービスでのCloudFront活用も検討できそうですね.

動画変換処理についてはECSの活用が有効そうでした.EFSを経由して,ECSにファイルを渡すのが良いという話だったような気がします.
動画変換はコンテナなど柔軟に可変させられるインスタンスの活用として分かりやすく典型的な例でしょう.
動画サービスが広がりを見せる中,ますますの活用事例が増えることでしょう.

同時視聴数制限などでLambdaやDynamoDBを利用する例もあり,AWSを使った動画サービスの展開は非常にやりやすい環境になってきているという印象でした.

SPOT209 - Raising the Bar on Video Streaming Quality Using AWS: Amazon Video Case Study
http://www.slideshare.net/AmazonWebServices/spot209-raising-the-bar-on-video-streaming-quality-using-aws
CMP405 - Containerizing Video: Creating the Next Generation Video Transcoding Pipeline
http://www.slideshare.net/AmazonWebServices/cmp405-containerizing-video-the-next-gen-video-transcoding-pipeline
ARC303 - Pure Play Video OTT: A Microservices Architecture in the Cloud
http://www.slideshare.net/AmazonWebServices/arc303-pure-play-video-ott-a-microservices-architecture

全体的なところ
オンプレからの移行促進,IoT,モバイル,セキュリティというところが大きな発表のあったところになるかと思います.
かなり機能が充実してきていて,「それAWSでできるよ」と言えるところばかりになってきています.
ただ,移行促進材料は出てきており,よりAWSを使ってサービス提供がしやすくなったとはいえ,Amebaサービスは長く運用しているサービスもあり,経済性などを考えて動かないといけない部分もあるかと思います.
また,パブリック・クラウド隆盛の時代ではありますが,テーゼがあればアンチテーゼもあり,どちらもバランスよく検討はしないといけないとも思います.

パブリック・クラウド活用機会が増えるのは必然的なことですが,だからと言って全てを鵜呑みにして動くことはできません.眉に唾をつけて聞く必要があります.
新サービスを中心にAWSに乗るものが増えてきていますし,この流れでAWSにオールインという賭けも選択肢として出てくるのかもしれませんし,別の何かが出てくるのかもしれません.
今後も注目していかなければならない領域であることは間違いありませんね.

ただ,いずれにしても技術的に貢献すべきところはしていきますし,そもそもサービスとしてきちんとしたものを提供していくことが大前提になっていきますので,そこを見失わないよう気をつけつつ取り組んで行こうと思います.

【番外編】
開催地がラスベガスということでカジノに初挑戦したわけですが,ブラックジャック(ディーラーのいないVideo Blackjack)はダラダラとやってられますが勝てないですね.
そこそこ負けていて,まぁこんなもんかと思っていたところで,ホテルをチェックアウトした帰り際にルーレットにストレートで賭けたら当たってしまって,慌てて換金するという展開に.

ATM的な機械でカジノチケットを換金するのですが,換金した100ドル札の1枚がちょっと破れていて,帰国してからの両替で面倒なことに.両替所では両替できず,銀行の支店に行って,鑑別機に通してもらってやっと両替できました.