物理学の世界で培った探究心
を武器に。データエンジニア
として大規模データに挑む
物理学の世界で培った探究心を武器に。
データエンジニアとして大規模データに挑む
今井 皓(いまい ひかる) 2023年入社
LINE(現LINEヤフー)に新卒入社後、大学院で培ったデータ処理・分析の知見を生かし、データエンジニアとして「LINE」メッセンジャー領域のデータの運用・管理・メンテナンスを担当。ソースデータの仕様変更対応や分析者向けのデータ整備のほか、サービスを支えるデータパイプラインの開発にも従事。
※本記事は2025年8月に取材したものです。サービス名称や所属は取材当時の内容です。
2023年に新卒でLINEに入社した今井皓です。データエンジニアとして働いています。入社前は大学院で物理学を専攻し、素粒子実験や実験装置の開発に取り組んでいました。その過程でデータの前処理や分析に携わる機会が多く、データを扱うことの面白さを実感しました。
「将来はデータに関わる仕事をしたい」「分析だけではなく、データ基盤そのものにも携わりたい」と考えていたところ、LINEのデータエンジニア枠を見つけて応募しました。新卒でデータエンジニアを募集している企業は少なく、その点でも貴重な機会だと感じました。
数ある会社の中からLINEを選んだ理由は、扱うデータ量に惹かれたからです。コミュニケーションアプリ「LINE」や関連サービスは日本国内の多くの方々に利用されており、そのデータ量は膨大です。私自身、素粒子実験で大量のデータを扱ってきたため、それをどう処理・分析し、活用するかに強い関心がありました。「この会社なら、自分の関心や経験を生かせる」と考え、入社を決めました。
入社以来、一貫してコミュニケーションアプリ「LINE」に関連するデータを担当しています。「LINE」では毎日膨大な量のデータが生まれます。私が日々運用・管理・メンテナンスを担当している一部の範囲でも15PB近いデータを日々扱っており、これほどのデータ規模を扱える環境はなかなか得難いものだと感じています。
データエンジニアと一口に言ってもその役割は幅広いですが、私が担当している領域においては、データ分析者とアプリケーション・インフラ担当者の中間に位置する役割だと考えています。データ分析者は分析業務そのものへの関心が高い一方で、データの準備や加工への関心は相対的に薄くなることが多いです。
一方、アプリケーションやインフラの担当者は、自分たちの扱うシステムのことを中心に考えますから、分析業務で使われるデータの品質や内容には関心が向きにくいこともあります。私は両者の橋渡し役として、基盤となるシステムやアプリケーションの仕様を把握しつつ、分析者やデータ利用者が使いやすい形にデータを整形・変換しています。
技術面では、SparkやTrinoなどのクエリエンジン、Hadoopなどの分散処理基盤を扱っています。データ処理の多くはバッチで実施しており、定期ジョブの管理にはAirflowなどのOSSを用いてスケジューリングしています。こうした技術を組み合わせ、日々のデータ処理を支えています。
1日の流れとしては、午前中にメンバーとのコミュニケーションやコード・ドキュメントのレビューを行い、午後はドキュメント作成、ミーティング、コーディングに取り組むことが多いです。担当プロダクトのスクラムイベントにも定期的に参加しています。
大切にしているのは、タスクの優先度や着手順、時間の使い方を常に考えることです。業務では、担当する複数のタスクを並行して進める必要があります。さらに「LINE」アプリは関係者が多いため、社内のさまざまな方から問い合わせが寄せられます。「今日はこの機能だけを開発すればいい」といったように、単一のタスクのみに集中できることはほぼありません。
そのため、何から着手し、どれくらい時間を割くかを適宜決めていく必要があります。大きなタスクは小さく分解し、必要に応じて他のメンバーへ移譲するなど、効率的に進められるように工夫しています。LINEヤフーの環境で働いていると、仕事の段取り力が自然と身につきます。
「橋渡し役」だからこそ社内各所から複数の要望が寄せられます。それらの目的や意図を汲み取りつつ、最適なプランを考えることは難しくもあり、やりがいにもつながっています。
たとえば、アプリケーション開発者からは「アプリの仕様を変更したいので、データ利用者に影響が出ないように調整してほしい」「新しい機能を追加したため、それにともなって新しいデータを使えるようにしてほしい」といった要望があります。分析者からは「こういったデータをこのような意図で使いたい。利用しやすい形式に加工してほしい」といった要望が届きます。
また、おもしろさという点では、やはりコミュニケーションアプリ「LINE」のデータを任されていることが大きいです。いま所属するチームでは、メッセージデータに関する問い合わせを私に集約しています。「LINE」を象徴するコアな機能に関わり、そのデータを管理・運用するという仕事は、責任は大きいものの充実感もあります。
さらに、SparkやHadoopなどビッグデータに関する技術を実際に試しながら使える環境が整っているのも魅力です。LINEヤフーには膨大なデータがあるからこそ、プロジェクトの中でこれらの技術を活用し、実践を通じて学ぶことができます。データエンジニアが成長するうえで、とても恵まれた環境です。
データの規模が大きいからこそ経験できることもあります。以前、人と人の関係を表すソーシャルグラフのデータを扱った際、データをテーブルに格納しようとしても、処理が途中で失敗してしまう問題に直面しました。クエリの文法自体は正しいのに、いつまで経っても処理が終わらない。調べてみると、データサイズが大きすぎて処理が詰まっていたことが原因でした。このときは、一度にまとめて処理するのではなく、適切なサイズに分割してから最終的に統合する方法をとることで解決しました。
こうしたデータは、分析可能な形で提供することではじめてサービスの改善や新しい価値の創出につなげることができます。データエンジニアはこの懸け橋となる非常に重要な役割だと感じています。
LINEヤフーのように多くのユーザーを抱え、大規模で多様なデータを扱う環境だからこそ、このような他ではなかなか得られない経験を積むことができます。遭遇すること自体が珍しいトラブルに直面し、それを解決していく中で得られる学びは貴重です。そうした意味でも、この仕事は難しさとおもしろさが常に隣り合わせだと感じています。
実を言うと、入社して間もないころは自分のエンジニアリングのスキルにコンプレックスがありました。情報系の学科出身の同期は、当たり前にGitなどのツールを使いこなしていましたが、当時の私には全く分からず。「自分はこの会社でやっていけるのだろうか」と不安になることもありました。
そんな中、入社後のチーム開発演習で同期に助けられながら実際にアプリ開発を行ったことで、不足していた知識が一気に身につき、自信になりました。
配属後も、割り当てられたタスクをただこなすのでなく、生まれた疑問や知らなかったことを一つひとつ理解し、自分の力にするつもりで取り組みました。
また、LINEヤフーではチームメンバー同士での情報交換や切磋琢磨の機会が多いです。ワークショップを通じて知見を共有したり、自分のプロジェクトの方針をメンバーと相談しあったりすることもあります。こうした「知識を共有し、学び合える場」が自然にあるのは大きな魅力です。
さらに、自ら考えて行動に移せる環境があるのも特徴です。LINEヤフーでの仕事の進め方は、単に「言われたことをやればよい」というスタイルではありません。上司からは目標や方針が示されますが、どのようなアプローチで進めるかは各メンバーに任されています。自分でやり方を考え、手を動かせる裁量の大きい環境です。メンバーの意向を汲み取り、「あなたがやりたいなら任せるよ」と背中を押してもらえる風土もあります。そうした点が、自分の成長につながっていると強く感じます。
実現したいことはいくつかあります。まず、現在はまだすべてのデータが十分に整備されているとは言い切れません。たとえば、各項目の意味や算出ロジックの説明が不足し、「データに詳しい人しかわからない」ような部分があります。初めて使う人がたどれるドキュメントや調査手段が少なく、利用のハードルが高い状況です。
特にLINEとヤフーのグループ内再編以降、旧ヤフーサービスを担当するメンバーが「LINE」のデータを使うようになってからは、「このデータは何ですか」「どう利用するべきでしょうか」といった問い合わせが増えました。だからこそ、データの整備を進め、品質と使いやすさを高めていきたいです。
もう一つは、生成AIの活用です。現在は、LINEヤフー社内でも各所で導入が進んでいます。私たちの取り扱うデータを生成AIと組み合わせられるよう、慎重に提供方法を整えていきたいと考えています。
LINEヤフーには、本当に優秀な人たちがたくさんいます。過去に本を書いたことがあるなど、さまざまな分野で突出したスキルを持った人が多いです。素晴らしい仲間と一緒に仕事ができることは、大きな刺激になっています。そうした環境の中で働くことは、仕事への意欲の向上や自分の成長につながるということを、学生の方々に伝えたいです。
また、LINEヤフーは挑戦したい、サービスをよりよくしたいと思う人にとって、動きやすい環境が整っています。わからないことや困っていることを気軽に上司へ相談できますし、チームメンバーもいつでも協力してくれます。そうした雰囲気の中で、自分の目標を実現できるのは大きな魅力です。自分のやりたいことに挑戦したい、伸び伸び働きたいと考えている人は、ぜひLINEヤフーに来てほしいです。