即～開始【エンド直】データ基盤構築SE募集/100万＠リモートの案件・求人【ライトアーム株式会社】

案件情報

• 業務内容

  作業内容	〇データ収集 　自社・パートナー・クライアントのサービスからログを取得するためのSDKの開発 　パートナー・クライアントとのデータの受け渡しをするためのデータインテグレーション基盤の構築 　Webクローリングやスクレイピングなどの、webから情報を収集するシステムの構築 〇データ管理 　収集したデータを保存するデータレイクの設計と構築 　加工済みデータを保存するデータウェアハウス(DWH)の設計と構築 　データの閲覧・処理権限の管理 　データ処理 　バッチ / ストリーミングベースのデータパイプラインの開発と運用 　BIツールを用いたデータの可視化 〇他のエンジニア職と共通の業務 　サービスの安定提供を24×7で維持するためのシステム運用 　システムの技術的な問題の発見と解決 　運用を自動化あるいは低コストにするためのツールの開発
  必須スキル	〇AWSやGCP、Azureなどのクラウドにおける開発経験 〇下記の項目を1つ以上満たす方 ・データベース、データウェアハウスを使ったデータ基盤の開発経験 ・データ処理パイプラインの開発経験 ・Apache Hadoop、Sparkなどの分散データ処理の開発経験 ・Webスクレイピングなどのwebから情報を収集するシステムの開発経験
  尚可スキル	Apache Airflowなどのワークフロー管理フレームワークを用いた、データ処理パイプラインの開発経験 ・Apache SparkやApache Flinkなどの分散処理フレームワークを用いたデータ処理の開発経験 ・Apache PulsarやApache Kafkaなどのメッセージキューを用いた開発経験 ・Kubernetesなどのコンテナ技術を用いたシステムの開発経験 ・検索やレコメンド、ターゲティング広告など、データがコアであるシステムのバックエンド開発経験 ・機械学習のモデルの作成と運用経験

  表示

• 基本情報

  単価	～ 1,000,000 円 /月額 完全スキル見合い
  精算幅	140-180(中割)
  勤務地	半蔵門 / 千代田区 ※実際の勤務地は応募時にご確認下さい
  契約形態	業務委託
  商流	元請

  表示