5/3 データ分析の力 因果関係に迫る思考法の感想

読んだ。

手法としては割りとよく知っていたものだったが、ランダム化試験、回帰分断デザイン分析、集積分析、パネル・データ分析、それぞれ使っている数学はほとんど一緒にせよ、改めてきちんと解説してもらえると非常に理解が深まった。実務の方では、むしろパネル・データ分析を一番よくやると思うので（私は手持ちのデータをできるだけ活かす方向でベイズでモデルを組んで時系列分析をやるのが好きなので、狭義のパネル・データ分析ではないが）、改めて仮定とかを振り返るときに読むのにもよいと思う。

また、実務家にとっては、どういう分析手法がどういうときにうまく行ったかということのパターンを知るのは非常に大事なので、たくさんパターンが知れて良かった。
特に、この本の著者は面白い研究が好きな人で、この研究はすごく面白いんだよ、という気合を本から感じた。
そのため、非常に知的興奮を持って本を読むことができた。
よい統計学の実証研究は、ミステリー小説にも似ていて、データと仮定と数学的手法と論理をもってして、真実を明らかにする力があるなあと感じた。
その意味では、グラフや結果の説明もうまく、こういう風に説明すればよいという例としても非常に有用だった。

反面、単純にA/Bテストするとサンプル数が足りてなさそうな事例もあり、誤解を招きそうなので、そのあたりの補足が欲しかった。
というか、私もこれどうやってうまくやったんだ？となっている。
これにあまりにも感動してしまうと、単純にクリエイティブの出し分けをすることだけがA/Bテストで、なんでもとりあえず試してみればいいじゃん、となりそう。

ということでおすすめです。

4/2 ゆいかおりについて

ゆいかおりが活動休止しました。
ぼくとゆいかおりの出会いは2010年で、正直Our steady boyから認識はしていましたが、どハマリしたのは運命が回りだした頃、つまりStylipSの2nd singleのMIRACLE RUSHからです。
ぼくをサンシャイン池袋の噴水広場にまで出向かせ、6時間立ちっぱなしで2Fの最前を取らせ、キラキラした目で目線をくれ、アイドルにハマる決定打を与えたのがゆいかおりだったのです。
そして、ゆいかおりは急激に活躍しはじめ、実力派アイドル声優ユニットとしての確固たる地位を築きました。

2016年の武道館での、石原夏織さんのMC。
ここまで躍進したのに、それでも最初に出てくる言葉は必ず、辛かった。
無理をして頑張っていることが誰の目からも分かっていました。
また、そこで泣きそうになった石原夏織さんに、すかさず頑張れ、と一番に大きな声で応援したこと。
まだ頑張らせるのか、と今になっては思うけど、でも、無理をしてほしい気持ちなんてこれっぽっちもないんだということ。

ゆいかおりが新しいステージに進むなら、それを受け入れて、いつまでも応援し続けたい。
いっぱい元気づけてもらって、いっぱい勇気づけてもらって、ゆいかおりが居なければ、今のぼくは居ないのだと、自信を持っていえます。

さて、本題です。
ゆいかおりと小倉唯ソロのCDの売上を比較してみました。
データソースはこちらです。

　アニソンCD売り上げデータ保管庫

可視化結果はこちらです。

このグラフを見ると、
・小倉唯さんのCD売上はまだプラトーを迎えておらず、またこれから伸びる傾向が見受けられること
・小倉唯さんの最大CD需要は25,000枚くらいはありそうなこと
・ゆいかおりのCD売上はプラトーを迎えており、そのプラトーは10,000枚前後であること
・ゆいかおりのCD売上は常に小倉唯ソロでのCD売上に負けていること
が理解されます。

ここから導き出される結論は、ゆいかおりは活動休止し、小倉唯はソロに注力するべきだということになるでしょう。

しかし、私はもし、こんな分析から、こんな結論が導き出されたとしたら、決して納得しないでしょう。
あくまで、ゆいかおりは、次のステージに進むために、活動休止したのです。

ただ、もう二度とゆいかおりのライブを見ることができないのだと思うと、ただただ今は悲しくて泣けてくるのです……。
本当に今までありがとう、ゆいかおり。

【余談】
・ゆいかおりも小倉唯も楽曲に大雑把にかっこいい系とかわいい系の二種類がある
・アニタイの効果もかなり大きそう
なので、これらの効果も踏まえて分析すべきですが、まあ小倉唯さんにアニタイつけてバンバンCD出せよという結論にどうせなりそうです。個人的な感傷もあり、そこまで詳細な分析をするのも辛かったのでこの程度でやりました。

2/22 扱いにくいと叩かれていたcsvをpandasで整形してみた

政府の出しているcsvが、クソcsvだと話題になっていました。

国民の祝日について - 内閣府

これですね。

まずアホみたいに読み込んでみましょう。

割りと普通に読めます。合格点。

目検で要らない行を取りましょう。ついでに連結のために列名を変えましょう。直接書いてますが、リスト内包とかで書けると思います。多分。わかんないけど。

顧客が本当に欲していたcsvを作りましょう。ついでに、あとの事を考えてflagの列を作りましょう。

さて、例題ですが、分析する上で、祝日は売上が上がったりしそうなので、祝日かどうかを判定したいです。ということで、売上フレームを作って、そこに祝日情報をjoinしましょう。

こんな感じですね。

せっかくなのでgroup byして平均売上高をグラフにしてみましょう。

データの作り方から当たり前ですが、大差無いですね。

ということで、クソcsvに思えても、pandasでならわりと自由自在です。

みんな、pandasを使おう。

ノートブックはこちら。

https://gist.github.com/dddddmmmmm/33e3e3bd24952d9d912966f469fe4dde

10/30 新卒でJapanese traditional big companyに入って半年で転職するということ

転職してとても楽しく働いているのでここら辺で振り返りをやっておきたいと思う。

なぜ前職に入ったか？

・なんとなくやりたいことが見出せなかったので、公共性の高いところで薄く広く貢献するかと思った。日本の金をじゃぶじゃぶ使って研究させてもらったので。

→やりたいことがなくてもやりたくないことがたくさんあった。

・なんとなく30年潰れない会社に行っておいて楽しかったらそのままぬるぬるやればいいなと思った。

→楽しくなかった。

・次は物理で鍛えた能力を元に世の中を便利にしてやるかと思った。

→世の中の人は物理にあんまり特殊な感慨とかが無いみたいであんまり物理を生かす道を人事的に見つけられなかったみたいだった。
　素直に機械学習とかやらせとけばよかったのに……。
　あの会社のレベルなら、正直それ専門のやつより私にやらせたほうが面白かったと思うけど。

　そこから派生するとなんであいつがあんな楽しそうなことやってんだふざけるなという話にもなりイライラしていた。

なぜ前職が嫌だったか？

・自分がやる必要がある/覚える必要があると思えない仕事ばかりだった。
　長年のやり方で現場に最適化された方法に馴染んで覚えていくことが自身の人生にとってプラスになるとは思えなかった。
　俺はもっとユニバーサルなところでやってきたし、これからもやっていくぞという傲慢な熱い気持ちに溢れていたところもあるけれど。
　ただその現場で通用しなかったわけだしユニバーサルじゃないというのが皮肉ですなあ。

・考え方が小役人的だった。
　自身のできる範囲で精一杯の最適化をしていけばどんどん働き方が効率化されるという感じだった。
　できるだけリスクを取らないだとか、誰にも情報セキュリティの専門性なんてないのに制定されたセキュリティルールから生まれる雑務だとか……そういう自分が納得していない制約条件の元に最適化させられるのが嫌だったし、その制約条件の妥当性に誰も異議を唱えない。（そんなことしてたら組織が動かないので当たり前だけど）

　でも最適化問題は制約条件も多分大事なんだぜ。知ってる？俺はよく知らないけど。

・マイクロソフトオフィスが嫌いだった。
　まあ使う時は使うんですけど。

　それに似た要素としては電話取りなんかもあった。21世紀なんだからわざわざ私に交換手やらせないでください。

・自分のキャリアがびっくりするくらい生きなかった。
　これは前職の上長にも皮肉な感じで同意された。

　キャリアについては、お互いすごい軽んじあっていたので、お互い様という感じはするけれど。あんたが現職でやってきた数年間より俺の学生のころの2年間のほうが世界的に価値のある先端的なことをやってきたという自負は出ていたと思うし、そんな新人入ってきたら私でも嫌だよ。

　しかし、一般的に自分でちゃんと考えて勉強することとか研究することを選んできたという自覚（事実がどうであれ！）があるならキャリアが生きる仕事をしないとダメだなと痛感した。

・毎月毎月自分のやったこと/できなかったこと/できたことを書かされるのがめちゃくちゃ嫌だった。
　やりたくない仕事に対して、もっとうまくできたとか考えられなかった。（人間性の問題かもしれない）俺は誰かがハードディスクを持ち込むための申請書類の書き方とか誰にハンコを貰えばいいかとかを覚えたことを、できるようになったことに計上するくらいなら、死んだほうがましだと思うし、そんなことをいちいち改善できただなんて考えたくもないし、東大を院まで出てそんな仕事をさせる社会はやっぱ狂ってる気がする。

　そもそも現場のやりかたに染まりたくねえなあ〜って思っていた上に、できるようになったことがその現場とかその会社でしか通用しなさそうに思える軽々しいことばかりで、それが増えて行くというのが単なる嫌悪感の増加になってしまった。

　今思うと自分で考えたこととか、ネットで読んだ最近流行のものに対する価値を置きすぎで、せめてもうちょっと、特に進め方の面ではうまいなと思う人の真似をするとか、現状のやり方について考えてみるとか、わかるまで教えてもらうとか、素直にやるべきだった。

　ただ、結局それって全部長年この現場にいたっていう話だよなあ、としか前職では思えなかったので、真似するにしてもなあと思っていたのも事実なので、それが本質になる職業なら遅かれ早かれやめてたしいいんだろう。

 　普通、30年もののおっさんが試行錯誤して作り上げてきた何かと、今の新しい仕組みなら、新しいほうのがいいでしょ。多分ね。前職では"普通"とかって前置きするなって言われたなあ〜。お前が世の中の何知ってんだって感じか。お前こそ世の中の何知ってんだって感じだ。

 　さらに悪口を重ねると、結局その30年も競争にさらされてない30年だから、あんまり信頼できなかった。し、結局競争に晒されずにここまでやってきたっていう意識が結構薄そうだった。あの組織の中に既得権益の中でやってきていることに対しての実感が薄い人たちがたくさんいることに結構失望した。

・作業の目的が自分で構成できなかった

　今思うとだいたい雑用ばっかだったわけだからチームの全体最適化ってなんでもかんでも答えておけばよかった。

　この辺時々思いついたようにチームの全体最適化とか答えてたわけだけど、それ一回答えたのに次出てこないってことは君本当はそんなこと思ってないでしょって見透かされてたのかもしれない。

　そりゃそうだ、雑用というのは誰かが自分がやりたくないけどやらなければならないことを誰かに押し付けるゆえに発生するわけで、そんなん自分でやってくださいよという感じだ。

前職でよかったこと

・仕事を進めるにあたって、どのあたりを押さえておけばよいかが非言語化された。

　ただ、前職ではびっくりするくらい仕事がやりたくなかったので、自分からそれを抑えようとしていなかった。我ながらすごい新人だと思う。

・やりたくないこと及びやりたくないことをどれくらいやれるかがだいぶ明確化された

　まあ何がやりたくないかはだいたい伝わっていると思うので省略。

新卒で入って半年で転職するということは？

 

・相当ファンキーなことだと思う。
　現職でもたまにいじられる。

・転職の話をして、身を慮ってくれた友人の数がめちゃくちゃ少なかった。
　私がすごく強がって見える部分もあるんだろうけど、真面目にキャリアプランの心配をしてくれたのが1人、現状に対する不満だけで動くなと言ってくれたのが1人、次はちゃんと社会性を持ってやれよと言ってくれたのが1人、それ以外本当にみんな面白がるだけだった。うそ……私の人望、少なすぎ？

まあ、合わないならさっさとやめて次に行こう。

世の中の大半はやりたい仕事なんてできてないって前職のトレーナーは言った。就職の際、やりたいことが無いのに妙な意思決定をしてしまったのは事実で、俺の落ち度だ。大学院の時点まで、俺はやりたいことをやってきたはずで、俺はこれからも自分がやりたいと思ったことを素直にやりたいし、やれないならなんとかして探すだろう。

またどこかで会おう。どこに行っても通用するスキルを持っているのに、どこにも行かないおかしな人たち。

追記:

読み返して思ってたんだけど、あんまり真剣に読まないほうがよくって、まあ、クソ生意気だけどうまく使えば化ける新人(って自分で言っちゃうのかよ！)は、どこ行ってもうまく使われるわけじゃないんだよなって安っぽい話の一面も強くて、悲しいですなあ、所詮人間の敵は人間ですか、って感じ。

こういう時世の中の人はどう思うだろう？もっと才気煥発な(やっぱり自分で言っちゃうのかよ！)彼には適正のある仕事があってそっちにいけたならよかった？生意気で傲慢で使い物にならない東大卒が世の中の厳しさに負けて転職した？

でも、前職の人には誰も見る目がなかったんだねって思わせるくらい、あるいは辞めるって言ってから、自分の納得と俺の納得のために時間作ってくれたお偉いさんとかが満足に浸れるくらい、今後結果を出していけたらいいよな〜。

追追記:

じゃあ今なんで楽しいの？ってところを抜かしていた。

今楽しいのは、単純に自分の好きなものの考え方をしていいってところと、自分が考えたことをぶつけてみて的確に返答してくれて、自分のアウトプットでオッケーをくれる人たちと働けていることだと思う。

でもそれだけで給料はもらえないので、きちんと利益に寄与していきたい。それがとりあえず目標だな〜。

8/6 2×2の分割表の論理

世の中で薬とかいっぱい開発するわけです。
まあ効果があるか知りたいわけです。
そこで二グループとかにわけて薬をあげたりあげなかったりするわけです。
で病気がよくなったりよくならなかったりするわけです。
表にするとこんな感じです。

人々	薬キメた	薬キメない	和
病気よい	A	B	A+B
病気ダメ	C	D	C+D
和	A+C	B+D	N=A+B+C+D

それぞれA,B,C,Dは人数です。

で、薬にまったく効果がなかったら、薬キメてようと薬キメてなかろうと、病気よい人と病気ダメなひとの割合は一致するわけです。
もうちょっと数学的に言うと薬キメた人々(A+C)人のうちの病気よい人の割合は、全体のうちの病気よい人の割合、つまり(A+B)/Nに一致するわけです。

他の人々にも同じように考えて、じゃあ薬に効果がなかったらこういう表になるべきだったわけです。

人々	薬キメた	薬キメない	和
病気よい	(A+C)(A+B)/N	(B+D)(A+B)/N	A+B
病気ダメ	(A+C)(C+D)/N	(B+D)(C+D)/N	C+D
和	A+C	B+D	N=A+B+C+D

で、じゃあどんくらい実際はなれてんすか、という話になり。
それはカイ二乗検定ってやつでできますよね、という話です。あとは世の中にお任せ。

3/25

We were dreamers, dreaming greatly, in the man-stifled town;
We yearned beyond the sky-line where the strange roads go down.
Came the Whisper, came the Vision, came the Power with the Need,
Till the Soul that is not man's soul was lent us to lead.
As the deer breaks -- as the steer breaks -- from the herd where they graze,
In the faith of little children we went on our ways.

グループのPh.D.の学生がいい詩を引用していた。

夢を見ていた、壮大な夢だ、この息が詰まりそうな街の中
恋いこがれた、奇怪な道の行く地平線の向こうを
童心に返って主が道を歩んだ

3/19

なぜこういった進路選択をしたのかについて記しておかなければ、生活の中で薄れていく気がしてしまったので、記しておかなければならないと思った。

なぜ大学に残らないのか？

• 給料が安い、学振を取れたとしても、月20万では暮らせないと正直に思った。
• 何を研究すれば良いかということを考えられる能力なしで大学に残るのは、悪手だ。そしてそれが残念ながら身につかなかった。

なぜ競争の激しい職業を選ばなかったのか？

• 体力的自信がなかった。
• 世の中には驚くべきほどその職業がやりたい、という人たちがいて、そういう人たちとは違うと感じた。

選んだ進路について考えられるリスクは？

• 30や40になって、何も出来ないオッサンになっている可能性がある。しかしながら、スキルセットも能力も、曖昧なものだ。

今後の目標

• 自身のやりたいことと、他人より出来る(自分がやるべきだと思う)ことと、世の中に必要とされることの中で、共通集合を見つけなければならない。それは大学に残っても同じだ。