今の現場、それなりにでかいデータ(だけど、日次で外部データ連携ができる程度w)を日次でぶん回す必要があるので、scala/sparkを推薦した。
なんだったら設計からやってもいいよと伝えてあったのだがプライド(笑)があったらしい。
「SQL文に関しては右に出るものはいないと自負しています」と真顔で曰うポンコツがPySparkベースで集合論的に実装したものを、雰囲気で拡張しまくったせいで、worker30で実行、たまにストレージFullでうまく動かないから40で実行(事前の想定では4だとちょっと厳しい顧客もあるが、8なら十分お釣りが来る)。とかいう絶望的な仕組みに育ってしまったデータ部門の最近中途入社したプロパーの技術者に「最近どうよ？」と聞いてみた。
「処理時間が大幅に減っていい感じです」
「本当にそう判断してる？」
「は？」
って感じになったので、ネタ明かしをした。
Sparkはでかいデータをワーカーに展開して処理実行もできるけど、基本的に「小さいデータセットに分割して、できるだけ小さいデータセットのまま処理を繋げていく」のが正しい使い方であると、どのように処理が行われるかを軽く解説しつつ説明してみた。
一つ説明するごとに頭を抱えて悶絶する。
「マジですか。確かに、言われてみたらそうですね……」
「ちゃんとしたSparkの入門記事にはたいてい書かれてる」
「……マジですか……」
こちらの説明を理解できる程度にはできる技術者だったわけだ(ので話しかけたのだがw)。
「前職では全データを突っ込んだデータセットから必要な部分を切り出して処理していたが、間違っていたんですか？」
「データの置き方にもよるが、典型的アンチパターンのような気がする。BigQueryとは使い方が違う」
「……しゃちょさんのいうことは理解できました。ということは、このシステムは……」
「どう思う？」
「規模がデカすぎて書き換えもできないので、終わりですね……」
「だね」
といったやりとりがあった。
今の状態から少しずつ改善していけばいける、とやる気を出していたらしい彼にはもやもやしたクリスマス年末年始をプレゼントすることになったわけであるが、実は年明け早々資金ショートの悪夢が襲いかかってくる可能性が40%ほどあり(w)、どちらにしろこの半年ほどは人生最大の激動の期間になるわけで。
絶望から立ち上がるということが本当の人間力、人間性で、まぁ、彼なら乗り越えられるでしょう、と。
ところで、資金ショートの話、半年以上前から予想していて、うちのチームの技術者には全員共有済み。
当初は「そんなことありません！」とか言っていた若い衆も、集められる証拠を前に考えを改め、頑張って就活をしていて、最近一社最終面接まで漕ぎ着けたとかいう。
まぁ、今時の転職も、難しいっちゃー難しいのだが、「今日で会社がなくなります。先月、今月分の給与は払えません」とかいきなり言われるよりは、半年以上前から予告している分、余裕はあるだろう、ってことでw
だいたい、月の売り上げがAWS利用料金(いくらお金がかかってもいいからといわれたとしても、Sparkのワーカーをアホみたいに並べて、「Sparkって案外お金かかるんですねー」って、普通はそんなにかからないw)と銀行からの借入返済で(元本返済が始まったw)ほぼほぼ消えるのに、役員報酬が月80万×マヌケの頭数＋プロパーが50人弱(平均月50強くらいかな？)、契約社員が10数人？。
VCがいくらでもお金出してくれるとか思ってたらしいが、売り上げがこれっぽっちも増えていかないので、目下激オコ。
銀行の借入や別VCにあたっているけど、酷すぎる実績の上に載せた事業計画がファンタジー飛び越えて絶句状態。
にも関わらず「どうして理解できないんや？」「そんなに信用がないか？」とか、開いた口が塞がらない。
そしてプロパーのほとんどが「ライフワークバランス大事だよねー」「俺たち、Spark使いこなしててイケてるよねー」とか。
ここが地獄の喜劇の舞台ですか？ ってな感じ。
個人的には、炎上現場はもちろん、こういう倒産間際の、どろどろの人間関係を観察するのが元物書き、元役者として、もう、興味津々でしょうがないので、できるだけ最後まで今の現場にいようと思っている。
現時点でも、広報の人間は「信頼関係が崩れた。やめてくれ」とか言われて追い出されてるし、経営陣内で責任のなすりつけあいというか闘争が起きているらしいし。
みんな顔色と表情がおかしい。