なにかのきろく

ひっそりと戻ってきて自分のためになるべく頑張る・・・

IT技術者になりたい人生だった

Talendの記事を会社で書くことを決めた。 BI/DWHのキーワードでいろいろ書くつもりです。 会社が企画しているオウンドメディアで、 未熟な私が自身のために自分で決めたことだ。 その記事を書く中で、得た知見?を残す。 ~私が試した実行環境~・Windows7 6…

AWS関連の技術とか触った時のこと

以下の記事の続きっぽいのです。 seyoshinori.hateblo.jp たぶん内容はかぶってないはず・・・。 ■Reducerが2以上の時のOrderBy使用方法 HiveQLでOrderByすると、Reducerを1にしないと正しく 指定のカラムでSort出来ない。 パーティションごとにSortされるか…

体重が増加してしまって運動しなければと思い始める

年末年始に体重が増えてしまって、 おデブちゃんになっちゃいました。 正確にはぽっちゃりさんです。(苦し紛れ) そして、いろいろ方々から怒られまして(親族から滅多打ち)可愛そうな私。みんなが出してくれたご飯を、ありがたく残さず食べただけなのに・…

最近、EMRとかRedshiftとか触ったときのこと

2016年12月頃にEMRとか触ったので備忘録など seyoshinori.hateblo.jp これの続きです。 宿題になっていた部分です。 3.ファイル出力 単純にローカルにファイルを出力する。 このファイルをRedshiftにcopyするので行っていた。 HIVEで以下のコマンドを実行…

初めてのAWSでEMRでクラスター起動してHiveQLだ!

AWS関連の技術を少し触ることが出来たので、その時の知見を纏める。 システムはこんな感じ。 1.S3のデータ取得 ストレージサービスって呼び方カッコいいんだけどww EMR上のクラスター起動してから 以下のsyncコマンドでお好きなところにS3の資材を配置でき…

初めて転職して1ヵ月経ちました

ぱくたそ-フリー写真素材・無料ダウンロード 11月から新しい事業者の下で働くことになって、 1ヵ月経ちました。 感想というかなんとなく思ったこととかを残しておきます。 現状で、「転職して良かったか悪かったか」ということについては、 「転職して良…

ライフスタイルの変化に備えて本を電子化した

我が家には怪獣と幼獣がいて、 私の物を置くスペースなぞありゃしない。月日が流れるなかで思うようなった。 というわけで少しずづつ自分の物を断捨離しました。 ちなみに「あたしんち」は対象外で本棚に並んでいる。 13年前に買った本棚に詰まっている漫…

shellのことやらないと忘れてしまう悲しい

別の目的で用意したUbuntu環境でshellを使って遊びました。 環境です----------------------Oracle VirtualBox Ver5.0Ubuntu 14.04 LTS----------------------環境です まず、VirtualBoxにUbuntu環境を用意した。こちらを参考にした。http://pc-karuma.net/w…

ユニティちゃんをいじりたい

Unityに興味はあるけどなかなか起動しない。 目的が無いからだな。目的が必要だな。仕事ではやらないから 世界征服に匹敵する大きな野望が必要だ。 というわけで、その第一歩にUnity上でユニティちゃんをいじる。 脳内の話ではない。 環境----UnityDownl…

Windows7でWindowsUpdateが終わらなかった ~未解決~

お仕事で、急にWindows7が必要になった。Windows10のPCをWindows7にリカバリーして、ウィルスソフトとOfficeの導入までは出来た。 最後に、WindowsUpdateをっと・・・。 2時間経過・・・。いつまで経っても終わりません。 64bitです。筐体は古めで3年前くら…

Unity5.4をインストール ~ゲーム作るのって浪漫だね~

去年どこかでUnityのセミナーに行きました。後輩もUnityでゲーム自作していて、そんなに楽しいのかと思って興味を持った記憶があります。今回は、気分を変えるツールとしてUnityにソフトタッチしてみました。 レガシーな私にとってはかなり新鮮な体験です。 …

ラクチンは正義だと思うBitanamiRedmine

PMS

ubeuntsでRedmineを用意しましたが 多くのステップを踏む必要があって大変でした。 これでは私のようなオジサンは運用する前から疲れちゃいます・・・。 BitnamiRedmineを構築する。 もちろんWindows環境に構築するので幸せだ。 ☆~環境~☆ Redmine:bitnami…

雑兵MeetUp #6 zohyo-fes に行きました

詳細はこちらです。 http://zohyo.connpass.com/event/37665/ 今回は2時間くらい練習しましたが、LT厳しい結果になりました。 用意していたこと5割くらいしかしゃべれませんでした。2時間程度の練習では足りなかったです。情けない。 資料について。あまり多…

PentahoCEでキューブから作る帳票を確認したよ。正確にはアナリシスビューだよ。

PentahoCEでめでたくアナリティクスな帳票が表示できるようになった。そんな帳票をちよろっと見てみます。 以前にこのブログに載せたキューブの設定を見直した。 ■キューブの設定 ■ファクトテーブルの設定 ■ディメンションの設定 各ディメンションは同様の設…

PentahoCEでBIserverにCUBEをPublish出来て嬉しかった。ありがとう。

意気揚々とキューブを回しながら「マダガスカル!」とか言ってたんだけど急にエラーが出てきて辛かった。 エラーは「Publish時にdatasoourceが無いからダメだよ☆」って内容です。 ※tbase2になっていますがこのメッセージです。 一度はPublishさせてくれたの…

PentahoCEでWorkBenchを使う

前回、すごい適当にブログを書いてしまって勝手に泣いていた。 seyoshinori.hateblo.jp ということで、もう少しWorkBenchについて詳しくブログに起こすことにした。 Pentahoのパッケージである以下の2つをダウンロードして解凍する。 Pentaho:・psw-ce-3.2.…

PentahoCEを使えばタダで自由分析出来そうじゃね?!

BisenessIntelligenceはお金がかかりますか?答えはNOです。当然、昔からBisenessIntelligenceにもオープンソース化とライセンスフリーの波はきています。わーい(*´▽`*) その中でもPentahoを試してみました。正確にはPentahoの自由分析をやりたい!やらせろ…

夏休みだよ PokemonよくわからないけどGOしてます

ポケモンは私はやったことがないゲームです。しかし、日本では大人気ゲームです。かわいいモンスターを半殺しにしてボールに閉じ込めるゲームだってことぐらいはわかります。 そして、Pokemon GOが2016年7月22日ころに配信されました。 私はポケットモンスタ…

Talend Bigdataでパーティションパラレルしたい!・・・したいなー、できないかなー

どーやらTalend Bigdataでのパーティションパラレル処理は 製品版じゃないとできないみたいです。tPartitionerやtCollectorがない・・・。 OpenStudioでできたら製品版いらないww になっちゃうから当然ですね。 Bigdata版を触ってコンポーネントの違いなん…

WEB関連技術に疎いオジサンが独りでWEB勉強するとこうなるww パート3 最後

WEB

前回の続きです。ちなみに前回はこちら・・・ seyoshinori.hateblo.jp 技術大会という名目でしたが、結果を決めるのはプレゼン能力でした。審査基準も技術うんぬんではなくプレゼン能力です。自分のプレゼン能力を磨いてなくて絶望したww というわけで、30…

生まれて初めて勤務先を変えることにした

私は4年生大学を卒業してシステムインテグレータとして13年間働いてきました。 意識の高い同期達は早い段階で転職していきました。10人いた同期はいつの間にかゼロですww 転職の気持ちは2年前からありましたが、当時の上司に引きとめられました。今は私を…

問題解決能力 近視眼なこと

問題解決能力というものが良くわかっていなくて、問題を発見すると、 良く確認もせずに「大好物をぶら下げられた犬」がごとく突撃します。 ぱくたそ-フリー写真素材・無料ダウンロード ということで、上司にお叱りをうけたのです。「大局的な視点を持って動…

Talendでデータ結合を考える 後編

もう結合を考えるって言うか結合しなかった時どうするのかを考える回になってますwwごめんなさい。 ぱくたそ-フリー写真素材・無料ダウンロード ではでは、十二分に癒されたところで。 JOBの形はこれです。 さて、1データ上(1レコード上)に存在するエラー…

雑兵Meetup#5 に参加した

まとめはこちらです。 togetter.com いつも参加に躊躇する。なんといってもこのMeetupで定義している「雑兵エンジニャー」が完全に雑兵ではないからです。百戦錬磨のモノノフ達なのです。 ですが、私の粗末な発表でも受け止めてくれるMAX優しい方々なので、…

Talendでデータ結合を考える 中編

今回もTalend上でのデータ結合を考えます。はい。 前回の最後に、変数を利用して、エラー時のメッセージを表示させようとして出来なかったギャフンってのがありました。 今回は、変数を利用しなくてもエラー時のメッセージを表示させるやり方です。JOBの形は…

Talendでデータ結合を考える 前編

今回は前回用意したデータをもとにして、Talend上でのデータ結合を考える。 データ結合は、tJoinかtMapを使用する。データを一気に結合させてやる!!と気合の入った処理?にしようと考えたのでtMapを利用する。 なんかtMap大変!みたいな。 複数のDB接続を…

WEB関連技術に疎いオジサンが独りでWEB勉強するとこうなるww パート2

WEB

前回の続きです。ちなみに前回はこちら・・・ http://seyoshinori.hateblo.jp/?page=1466076630 パート1で私はRailsに乗ることで30万円を得ようと考えた。 もちろん、コストはかけずにやります。(自分の時間外のコストはかかります) まず、勉強してもOUTP…

Talendを使っている感を出すぞww

今回はTalendで用意されている固有のコンポーネントを利用して データを成形してみようと思います。 利用してみるコンポーネントは以下の通り ・tPostgresqlInputデータを抽出する。Inputデータを保持するテーブルを用意する。 ・tJoin流れてきた複数データ…

WEB関連技術に疎いオジサンが独りでWEB勉強するとこうなるww パート1

WEB

ぱくたそ-フリー写真素材・無料ダウンロード とりあえず、ありがとう!誰かにありがとう!だ。 そんなこんなで月日は流れる。何も武器を持たないITエンジニアが出来てしまいました。 さて、Web全盛のこの時代でWeb技術に触れていないなんてITエンジニアとし…

Talendバッチ実行 こいつ!動くぞ?!

Talendをシステム上で実行する時の形にしてみる ETLちゃんは人間様が寝ている間しか動かないもんです。そのため.batとか.shで動かせなきゃダメなんです。だからその方法は確実に押さえる必要がある。 TalendOpenStudio(英語)のマニュアルを読めば理解出来る…