Hadoopを活かせる仕事、リモートOK

  • 1,000,000 /月額
  • 半蔵門 / 千代田区
  • 作業内容
    〇データ収集  自社・パートナー・クライアントのサービスからログを取得するためのSDKの開発  パートナー・クライアントとのデータの受け渡しをするためのデータインテグレーション基盤の構築  Webクローリングやスクレイピングなどの、webから情報を収集するシステムの構築 〇データ管理  収集したデータを保存するデータレイクの設計と構築  加工済みデータを保存するデータウェアハウス(DWH)の設計と構築  データの閲覧・処理権限の管理  データ処理  バッチ / ストリーミングベースのデータパイプラインの開発と運用  BIツールを用いたデータの可視化 〇他のエンジニア職と共通の業務  サービスの安定提供を24×7で維持するためのシステム運用  システムの技術的な問題の発見と解決  運用を自動化あるいは低コストにするためのツールの開発
  • 必須スキル
    〇AWSやGCP、Azureなどのクラウドにおける開発経験 〇下記の項目を1つ以上満たす方 ・データベース、データウェアハウスを使ったデータ基盤の開発経験 ・データ処理パイプラインの開発経験 ・Apache Hadoop、Sparkなどの分散データ処理の開発経験 ・Webスクレイピングなどのwebから情報を収集するシステムの開発経験
  • 尚可スキル
    Apache Airflowなどのワークフロー管理フレームワークを用いた、データ処理パイプラインの開発経験 ・Apache SparkやApache Flinkなどの分散処理フレームワークを用いたデータ処理の開発経験 ・Apache PulsarやApache Kafkaなどのメッセージキューを用いた開発経験 ・Kubernetesなどのコンテナ技術を用いたシステムの開発経験 ・検索やレコメンド、ターゲティング広告など、データがコアであるシステムのバックエンド開発経験 ・機械学習のモデルの作成と運用経験
  • 契約期間
    即日~長期
  • 募集人数
    3人
  • 募集背景
    追加要員
  • 面談回数
    1回
  • 備  考
    初回2,3日キャッチアップの為出社