なにかのきろく

ひっそりと戻ってきて自分のためになるべく頑張る・・・

hive

AWS関連の技術とか触った時のこと

以下の記事の続きっぽいのです。 seyoshinori.hateblo.jp たぶん内容はかぶってないはず・・・。 ■Reducerが2以上の時のOrderBy使用方法 HiveQLでOrderByすると、Reducerを1にしないと正しく 指定のカラムでSort出来ない。 パーティションごとにSortされるか…

最近、EMRとかRedshiftとか触ったときのこと

2016年12月頃にEMRとか触ったので備忘録など seyoshinori.hateblo.jp これの続きです。 宿題になっていた部分です。 3.ファイル出力 単純にローカルにファイルを出力する。 このファイルをRedshiftにcopyするので行っていた。 HIVEで以下のコマンドを実行…

初めてのAWSでEMRでクラスター起動してHiveQLだ!

AWS関連の技術を少し触ることが出来たので、その時の知見を纏める。 システムはこんな感じ。 1.S3のデータ取得 ストレージサービスって呼び方カッコいいんだけどww EMR上のクラスター起動してから 以下のsyncコマンドでお好きなところにS3の資材を配置でき…