Python/分散処理を用いた大規模データ収集基盤エンジニア

仕事内容:

概要

EC・不動産・金融情報プラットフォームを対象に、価格・商品・物件データを大規模に収集するWebスクレイピング基盤の設計・開発・運用を担当します。Scrapy・Playwrightおよび外部APIを活用したデータ収集パイプラインを構築し、収集データをデータベース・データレイクへ安定的に供給する役割を担います。

詳細

・Scrapy・Playwrightを用いたJavaScript対応Webサイトの動的スクレイピングパイプラインの設計・実装

・ProxyPoolおよびユーザーエージェントローテーションによるアンチスクレイピング対策の実装

・Celery・Redisを用いたスクレイピングジョブの分散実行・キュー管理・エラーリトライ設計

・収集データのクレンジング・正規化・重複排除処理の実装およびPostgreSQLへの格納

・Datadogを用いたスクレイピング成功率・データ鮮度・異常検知ダッシュボードの整備・運用

アピールポイント:

データ収集基盤はデータドリブンな事業運営を支える根幹であり、その設計・運用を担うエンジニアの需要は高まり続けています。本ポジションでは分散処理・監視設計・クレンジングまで幅広い領域を実務で経験でき、データエンジニアリング全般へキャリアを広げる足がかりとなる環境です。

求める人材:

必須スキル

・Pythonを用いたWebスクレイピング・データ収集の実務開発経験2年以上

・ScrapyまたはBeautifulSoupを用いたスクレイピングパイプラインの構築経験

・PostgreSQLまたはMySQLを用いたデータ格納・テーブル設計の経験

歓迎スキル

・PlaywrightまたはSeleniumを用いたJavaScript対応動的スクレイピングの実務経験

・Celery・Redisを用いた分散ジョブ実行の設計・実装経験

・Proxyローテーションやアンチスクレイピング対策の実装経験

勤務時間・曜日:

「フレックスタイム制（標準労働時間1日8時間）

コアタイム：11:00〜15:00

フレキシブルタイム：5:00〜22:00」

休暇・休日:

・年間休日125日以上

・完全週休二日制（土日祝）

・夏季休暇・年末年始休暇

・慶弔休暇

・有給休暇

勤務地:

リモートワーク可能

＜受動喫煙対策＞

就業場所 原則禁煙（分煙）

（変更範囲：当社の定める就業場所）

アクセス:

池袋駅から徒歩5分

給与:

月給・年収はスキルに応じて判断いたします。

雇用形態は相談可

待遇・福利厚生:

・社会保険完備

・リモートワーク制度

・書籍購入制度

・研修・勉強会補助

・各種表彰制度

・フレックスタイム制度

その他:

面接1回

雇用形態: 業務委託

給与・報酬: 520,000円 - 680,000円 月給