■データ構造のいろはを本で勉強する

→「達人に学ぶDB設計徹底指南書」

 

■SQLのいろはを本で勉強する

→「達人に学ぶSQL設計徹底指南書」

→「プログラマのためのSQL 第4版」

 

■実際のデータベース

・典型的な業務用DB(CRM系・・・販売管理、顧客管理、在庫管理)

・オンライントランザクション用DB(掲示板、ネットバンキング)

→JAVA、javascript、jQuery、SOAP、RESTとかよくわかってない

・データウェアハウス(データマイニング用)

・全文検索エンジン

・デジタルアーカイブ(画像や動画ファイルをDBに格納したWebサービス)

 

■DB2の主なファイル、メモリ領域をまとめる

・主なファイルの種類、場所、確認方法、サイズの目安、場所の変更方法、バックアップの要否、バックアップの留意事項、増え続けるのか、速度要件

・主なメモリ領域の種類、確認方法、サイズの目安、設定変更方法

・DB2運用のためのバッチ処理

・データベース運用の主なバッチ処理とデータ構造の設計上の留意点

・データベースへのオンライントランザクション処理とデータ構造の設計上の留意点

・バックアップする際のファイルや表領域の設計上の留意点

・TSAでクラスタ化するときのファイルや表領域やメモリに関する設定上の留意点

・参照系DBを負荷分散し、更新系DBとレプリケーションするときのファイルや表領域やメモリに関する設定上の留意点

 

■次のステップ

・TSAによるHAクラスタ構成のDB2を設計構築

どの機能のどの設定でデータの耐久性を担保してる?

・参照系DBを負荷分散し更新系DBとレプリケーション

・DR環境とレプリケーションする更新系DB ← こんなの作れるのか?

・キーバリューストアを使ってパーシステンスするWebアプリケーションサーバ

RDBMSの場合との速度比較

・グラフ型データベースで参照高速化

RDBMSの場合との速度比較

その他のNoSQLデータベース

・分散ストレージ

HadoopやSparkからデータを取り出してデータマイニング、ビッグデータ、機械学習

RDBMSの場合との速度比較

※物理マシンが数百台数千台規模じゃないと効果がでないらしい

・Apache Solrを使って巨大システムで集約された大量ログの高速検索

・DB2のマテリアライズ照会表、ブロックインデックス、パーティション表、クラスタインデックスの効果を調べる

・オンライントランザクションで動画配信サイトを作る

どこで高速化、負荷低減を図ってる?

・オンラインストリーミングサイトってなんだ? 

どこで高速化を図っている?

・ロードバランサのTLS鍵暗号化/複合化をGPUにオフロードした際の効果

・Docker

・openstack

・Ansible

・ネットワークとカーネルもやらなくちゃ><

 

★今日借りた本

「達人に学ぶDB設計徹底指南書」

「プログラマのためのSQL 第4版」

2番目の本はSQLのバイブルだそうだが上級者向きらしいんご

ちなみにおいらはSQL初心者www

 

今日読んだ本

・「データマイニング入門」・・・わかりやすかった。従来の統計解析とデータマイニングの違いと、データマイニングのいろいろなテクニックを数式を使わずに直観的な説明で紹介。買いたくなった。

・「文字コード研究」・・・文字コード絡みの話を網羅。文字コード絡みの話を一か所にまとめたい場合有用かも。詳細な内容は落書きで追記するとして買いたくなった

これの他に「lsを読まずにプログラマを名乗るな」もつん読

・「ハローHello,world」・・・すでに持ってるんご

・「HADOOP徹底入門」・・・HADOOPとは何か?の大雑把な回答が欲しかった。

HADOOPとはRDBMSと違って数百テラとかヘクサバイトの巨大データを蓄積する。参照と挿入のみでupdateなし。

バッチ処理だけでトランザクション処理なし。スケールアウトが容易で多重並列化。主な用途は検索エンジンの巨大インデックスの格納やデータウェアハウス(他にもあったが忘れた)(DB2のパーティション表みたいな感じでデタッチしてloadしてアタッチで高速loadするのか?MDCのように多次元配列のポインタみたいので、検索語に対してブロックインデックスを返すのか? 買いたくなった。

・「Apache Solr入門」・・・Apache SolrがどんなDBをどんなデータ構造でデータをもつのか調べたかった。この目的では答えを見つけられなかった。

・「DevOps教科書」・・・DevOpsの雰囲気をつかみたかった。開発から運用引き継ぎの際の責任分解点や取り決めるべきルールのひな型っぽいことが書かれていた(ように思う)

・「データモデリング入門」・・・主題が業務部門のexcelワークシートをデータベース(accessなど)にモデリングして移そう!って感じのいにしえの初級シスアド時代な感じのノリの本(に思えた)

・「バッドデータハンドブック」・・・データベースのデータ構造の悪例を期待してたがもっと広い範囲の「データ」の悪例の紹介みたいだった