ウィリアムのいたずらの、まちあるき、たべあるき

ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです(たま~にコンピューター関係も)

1人月単価は、役割よりベンダー規模で違う。SE2の場合74万~121万

2014-06-30 18:20:04 | Weblog
日経システム2014年7月号で大事なのは、BI話よりも
64ページの

「人月単位の相場を押さえよう」

ですよね。SEの人月単価はベンダの大きさで違う。
具体的には

(66ページ図2のグラフを表に編集)

つまり、PMとかPGとかの役割の違いより、
ベンダーの規模のほうが、大きく利くということだ。

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

BIはTableau,QlikView,PowerBIで決まり?価格が分かるITトレンドだと・・

2014-06-30 15:07:20 | AI・BigData
BIツールというと、大学、大学院などで学ぶのは、
「Business Objects」だ。
トーマス・H・ダベンポート教授などのお話とともに
データウェアハウスで聞くんじゃないだろうか?

今も「Business Objects」はSAPに買収されたものの、存在する。
このページによると
423,840円 ~(レポート作成用 228,000円/1User、レポート参照用 195,840円/1User)
らしい。

しかし、日経システム2014年7月号によると、BIツールは、

Tableau,
QlikView,
(ExcelなどMS Officeの)PowerBI
の3つのようだ。


ITトレンド > BIツール
http://it-trend.jp/bi


のサイトだと、価格と、いろんなことがいっぺんに分かるようになっているんだけど、
(また、ほかのBIツールもいっぱい比較できるけど)

「大塚商会が売っている」Let's Start QlikViewだと222,000円 ~
(そうでないと、2,500,000円 ~)

Tableau(タブロー)は250,000円 ~だけど、従業員規模が100名以上なんだよねえ・・

てことは、中小企業は・・・


無料のQlikViewのパーソナル版?
http://www.qlik.com/jp/explore/experience/free-download

(^^;)

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

データサイエンティストサミット2014に行って来た!-その6 tableau

2014-06-30 08:39:10 | AI・BigData
6月27日、「データサイエンティストサミット2014に行って来た!

次は、

誰もが簡単にビッグデータを視覚化し分析
tableau 並木さん

の内容をメモメモ




コーポレートビジョン
・データを可視化して理解することができるように支援

画期的なイノベーション
・スタンフォード大
 97年 情報をだれもが理解できるようにする
・3人の創業者
  ぱっとはんらまん CG(べんだーまん)
  くりす すとるふ DB
  現在のCEO   データサイエンティスト

・スティーブジョブス:ばいしくる ふぉ あわー まいんど
・IT:技術が先行しがち→ITなんでもいいはず
 「発見」は、コンピューター前からあった

 Feel 直感を大切にする
 Chase 深く掘り下げる
 Shift 視点を変える
 Relate 関連付ける

■製品デモ 8.2で
・データと会話する
・技術を隠蔽する
・方法やモデルに合わせるのではなく、データの形を変えてみる
・スモールマルチプル
・知見をアクションにつなげる
・Google Analitics,Twitterのデータを使って
ナイトレイ

■全世界で19000社が導入、日本で350社
25日 たぶろージャパンミーティング 100名以上

「tableau バスケット分析」など、したいことをいれてぐぐる
「tableau happy」でぐぐると・・・



  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

データサイエンティストサミット2014に行って来た!-その5 talend

2014-06-29 18:21:36 | AI・BigData
6月27日、「データサイエンティストサミット2014に行って来た!

次は、

ビッグデータの収集、整備、統合、活用のティップス
talend 正金(まさがね)さん

の内容をメモメモ




データ分析の阻害要因

歴史のある典型的なDWHシステム
 顧客情報分析、リスク分析、売り上げ傾向分析、
 ディメンジョンに合わせて
 最適化が必要

ビジネスが新たなデータを要求する時代に
 オンプレミスがソースデータ

想定していなかった情報が業務を取り巻いてきています
 データ量、データの種類、ソース数
 データ量、データの鮮度

ビッグデータでトレンドな分析対象
構造、半構造、多構造、非構造データ
・顧客インタラクションデータ
・非構造コンテンツ
・センサデータ
・業種、業界特化データ

困難な点
・データの種類が多岐に渡る
・データ量があまりに膨大
・情報の鮮度に対する要求の高度化
・データの意味を理解しなければならない

困難な点:ソースデータの複雑さ
 ・アクセスログ
 ・画像データ

例:twitter

分析作業の負荷軽減と精度向上、定着化のためのでーた
の整理整頓が必要

データ分析とビッグデータイノベーション

データ分析におけるプロセスと役割
仮説構築→データ収集→整備変換→視覚化→データ分析→データ活用

昨今のデータ分析システムが保持すべき3つの機能
  インテグレーション
  BI
  ビッグデータストア

・ビッグデータストア
  Hadoop(次世代YARN)
  NoSQL Neo4J:グラフ
  Spark:インメモリ

・BI
  データ収集
  データ整理
  視覚化
  分析

・データインテグレーション
  データ収集の自動化
  コンバージョン
  クレンジング・フィルタリング
  属性の付与・結合
  データストアに投入

もの(道具と基盤)は投資獲得とともに順次拡張
BIツール
・QlikView,tableau,Actuate
インテグレーション
・talend
ビッグデータ
・Hadoop,Amazon

DWH化
ビッグデータインテグレーションのポイント
・目的と手段を取り違えない
スパイラルアプローチ
・仮説、検証、データ分析PDCA
三位一体
・データサイエンティスト、インテグレーション、基盤担当

ビッグデータ統合のTalend

Talendの製品紹介
 製品開発→OSSを取り入れた

ESBも

Talend Open Studio for Big Data

複雑なMap Reduce処理をGUIで開発(商用版機能)

・500以上のコンポーネント
・Hadoopネイティブ
・ビジネスモデル

世界4000社+。日本200+


  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

セクハラやじ問題-、「塩村都議は被爆2世」を、とうとうマスコミも書きましたね!

2014-06-29 12:30:25 | Weblog
セクハラやじ問題で、たぶん、みんな同じ行動をとったと思う。
「塩村都議って誰?」
そして、みんな、ホームページを見て気がついたと思う
塩村都議が被爆2世であることを・・・

そこで、みんな、塩村都議の悲しみの深さ(涙のわけ?)
を知ると同時に、このやじが、許せなくなったのではないだろうか?

「早く結婚しろ」とか「自分が産んでから」とかに対して・・

単なるセクハラという次元を超えて・・・

 しかし、マスコミは、多分、知っていて、これを書かないだろうと、みんな思っていたのではないだろうか?
 塩村都議のプライベートだけでなく、相当深い社会問題に踏み込んでしまうので・・・




と、今の今まで、思っていたら、とうとう書いてしまいましたね!女性セブン!!

塩村都議 野次問題で「さんまさんに助けてもらえるなら…」
http://zasshi.news.yahoo.co.jp/article?a=20140626-00000008-pseven-soci

(以下太字は上記サイトより引用)

女性セブンの取材に対し、塩村氏はこう話す。

「プロフィールでも公開していますが、私は被ばく2世として生まれました。2世の中には、妊娠・出産について不安を抱えているかたもいますし、実際私も甲状腺の病気を持っています。子供ができにくいということもあるそうなんです。私自身、35才になって“いい年”ですし、2世であることを気にすることもあったので…」



あ~、書いちゃったよ、これで、自民のやじの極悪非道さが、
わかっちゃっただろう・・・・

たぶん、自民の「自分が産んでから」を言った議員がばれれば、
その議員はたぶん、
「いや塩村都議が被爆2世とは知らなかった」
「そもそも、被爆2世だから、産むのに・・・というほうが偏見で問題だろう」
というに違いない。しかし、これは、次の言葉を言われると、チェックメイトになる

「都議会は、被爆2世の人にも聞かれる可能性があるのに、そういう野次をするということは、被爆2世の人にどうとられるかという考慮がかけているんじゃないか?自民党は、被爆者への考慮がかけているのではないか」

・・・というと、広島から、福島にとんで

「だから、石原大臣も、金目とか言うことになる。子供たちがどうなるかという、深い考えがない」

と話がひろがって、さらには、

「そういえば、集団的自衛権って、核に対しては、どうなっているの?」

とか、蜂の巣をつついたように、話がどんどん広がってしまう。




日本音響研究所ががんばれば、だれがしゃべったか、解析できることだろう・・・
発言者がわかると、やじの意味、被爆2世ということを知っていていったのかということについて、答えざるを得なくなり、この問題に触れなければならなくなる。

でも、この問題は、そこまでやらずに、幕引きすると思ってた。


「そうはさせない!」ということで、
この問題の本質に迫ってきたところに、
漢気を感じる・・・「女性」セブンだけど・・・

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

データサイエンティストサミット2014に行って来た!-その4 Pivotal

2014-06-29 09:17:58 | AI・BigData
6月27日、「データサイエンティストサミット2014に行って来た!

次は、

ビジネスイノベーションを実現するデータサイエンスXアジャイル開発
講師:Pivotal(ぴぼたる)ジャパン 仲田さん

の内容をメモメモ




次世代エンタープライズ・プラットフォーム
Pivotal始動(2013年4月)
EMC+VM Ware+GE
 従業員1900人
 企業顧客1200社以上
 売り上げ3億円
Industrial Internetを支えるGEの3rd Platform
  ものとデータ、サービスはいったい→3rd Platform

Pivotalミッション
Google,Amazon・・・(インターネットジャイアンツ)
 自ら膨大なデータを収集・分析し、早いスピードで市場に対応する
 コンシューマー・グレイド・エンタープライズ
  支える2つの柱
  アジャイル開発  データサイエンス

データサイエンス・サービス
  データサイエンス・トレーニング
  Lab Primer

事例1:カスタマーサポート分析
 →なぜ、電話を解析

事例2:(セキュリティ)
 内部ユーザーの異常行動検知

データサイエンスXアジャイル
→PIVOTAL LABS
  協調的:ペアプログラミング、StandUP(朝礼)
  透明性:Pivotal Tracker
  エンゲージメント
   スコーピング
   インセプション

事例
・東芝ソリューション
  →3、4倍の生産性

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

データサイエンティストサミット2014に行って来た!-その3 トレジャーデータ流

2014-06-28 20:13:59 | AI・BigData
データサイエンティストサミット2014に行って来た!-その

6月27日、「データサイエンティストサミット2014に行って来た!

次は、
トレジャーデータ流データ分析の始め方

の内容をメモメモ




トレジャーデータ
サービス概要
データサイエンティストの分析プロセス
事例

データサイエンティストがCXOを補佐
この2つのアプローチを兼ね備えた人(チーム)があたら意思経営を支える

トレジャーデータサービス概要
・従業員50人

・データ解析の世界をシンプルにしたい

収集・保存・分析をワンストップに、柔軟なインターフェースで提供
分析レイヤーの詳解
  一気つうかんして、提供
  HIVE

データサイエンティストの分析プロセス
一般的なデータ分析プロセス
 1目的明確化
 2目標設定
 3データ収集
 4データ分析
 5考察仮説
 6プラン
 7Do
 8DataCheck
 9Action
X目的・目標が未設定、さらにデータの内容が分からない
 ゆえに次のデータ分析サイクルをまわせない

トレジャーデータが可能にする分析アプローチ
・目標なくて大丈夫
・とにかくデータを集めましょう
 1.データ収集
 2.DataWatch
 3データ収集
 4データ分析
 5考察仮説
 6プラン
 7Do
 8DataCheck
 9Action

1.データ収集
  ・とにかく集められるログを探してくる
  ・ログがどこにもなければ、簡単なログ収集からはじめる

2.Data Watch
 定型化された3つの見るプロセス
  ・データの項目を見る
     ディメンジョン
     メジャー
  ・データの内訳を見る
  ・データの分布を見る
 ある程度テンプレート化

2.a「項目を見る」
 ディメンジョン・メジャー分類
  データの項目を見る
2.b「内訳を見る」
 集計テンプレートクエリの適用
 内訳可視化テンプレートの適用
2.c「分布を見る」
 分布テンプレートクエリ
 分布可視化テンプレートの適用

まとめ
 データ収集から目標設定までは、ノンストップ行える
BIツール(たぶろーなど)見るところで重要な役割

DataWatchのためのVisualization Tool
データを見ることへの投資→可視化ツールの採用
  ・データの項目を見る
  ・データの内訳を見る
  ・データの分布を見る

トレジャーデータ流:データ分析の始め方(POC)
数ヶ月→何がしたいのか

事例紹介:オンラインゲーム
・オンラインゲームソリューションとは
1.テンプレートに従ったデータ収集
2.データを徹底的に見るためのダッシュボード
3.目標:コンバージョンのボトルネックを調べる
4.分析:ファンネル

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

データサイエンティストサミット2014に行って来た!-その2 LINEの分析プラットフォーム

2014-06-28 16:00:50 | AI・BigData
6月27日、「データサイエンティストサミット2014に行って来た!

次は、
LINEを支える分析プラットフォームとその技術 
講師:LINE 橋本さん

の内容をメモメモ




分析プラットフォーム

データに関するアクション
 Collection データを収集する
 Reporting サービスの状況を報告する
 Analyzing サービスの問題点や改善点を分析する
この解として分析プラットフォーム

分析プラットフォームで重要視していること
 Collection
   リーズナブルなデータの収集→Fluentd
   大量なデータの保持→Hadoop
 Reporting
   柔軟なデータの集計 HIVE/Shib/Norikura
   分かりやすいチャートでの可視化→BIツール
 Analyzing
   簡便で高速なデータの収集→Norikura

分析プラットフォームの概要
 サーバー→fluentd→Fluentd       →IRC
           Norikra(リアル集計)→ダッシュボード
           Hadoop→BIツール
       ↓
      アーカイブ(永久保存)

Fluentd
・柔軟なログ収集を可能にするフレームワーク
  Treasure Data社が開発

Norikra
・リアルタイム集計処理システム
 ストリーミングデータ処理として、SQLが利用可能
  →自社開発、オープンソース

Hadoop
      MR
HJDFS Tez HIVE  Shib(しぶ)
YARN  Presto    ETL(Azkaban)
                Prestogres

Hive
SQLライクなクエリー言語でのデータ集計

Prosto
・分散データ処理エンジン
・HIVEに比べ高速

Prestgres
  BIとPrestoをつなぐ
  Treasure Dataが開発

Shib
  Hive、Prostoへのバッチ処理

Shibui

・API連携しやすいように
  HTTP JSON API
・なるべくOSSを採用する
  なにかあったときは、じぶんたちで

注目している
・データ抽出の高速化技術
  Presto,Impara,TeZz,spark,Drill
  いんめもりDBS/DWH

・分析プラットフォーム

大事なこと
・データ生成・収集のコストを下げる
   極力、サービス開発者にデータ集計させない
   エンジニアの工数は大事
・データの受け皿を用意する
・倫理的なことを考える

一緒に開発してくれる人大募集

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

「突然ITインフラを任された人のための…監視設計入門」聞きたかっらた「いいね!」?

2014-06-28 08:54:56 | Weblog

突然ITインフラを任された人のための…監視設計入門
http://yapcasia.org/2014/talk/show/d1eb4942-fdb5-11e3-b7e8-e4a96aeab6a4


おお、聞きたい!

と思ったら、保留中ということのようだけど・・・

「いいね!」とか、ツイートすると、やってくれるのかなあ?

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

データサイエンティストサミット2014に行って来た!-その1

2014-06-27 18:08:28 | AI・BigData
さっきデータサイエンティストサミット2014に行って来た!

その内容をメモメモ

まずは、基調講演から



第二回データサイエンティストサミット
基調講演(キーノート)
NRI 鈴木良介氏

この4年間のビッグデータ

2010年 アメリカで使われるようになった
2011年 今年こそはビッグデータ元年
 前半   IT業界の用語→Hadoopご存知
 秋口   これからの商売→日経あおった→
2012年 ビッグデータって、何なんでしょう?
      →小松の話
2013年 普通の会社でもビッグデータ
      →うちの会社にもデータ:中期経営計画
2014年 具体的に決まってないよね・・・
      →いつまでに、なんぼ回収するつもりなのか?

今日の登壇者:ネット系→先行(成功、課題)




キュービタル:草野さん
  ブレインパッド+YAHOO Japanの合弁
・ブレインパッド
  10年間データ分析
 分析にはいくつかの要素がかみ合う
   データの収集&蓄積
     ビジネスに関係性のある
     豊富で質の高いデータ
   データ加工分析
     適切な文是機を実施するために
     大量なデータを必要十分な
     スピードで処理する環境
     時にリアルタイム性も
   適切な分析とビジネス活用
     ビジネス課題の分析と落とし込み
     適切な分析の実施
     分析結果のビジネスへの適応


さまざまなアドバイスはできても、本質的な解決にはいたらなかった

データの収集&蓄積
 そんなに優秀な分析官がいても、どんなに高度な分析環境があっても、
 質の悪いでーたでは。。。

YAHOO Japan
 真の課題解決エンジンにむけて
 広告販売だけでは、これからのマーケティングの
 ソリューションとしては不十分
  広告→データ

ミッション
 YAHOOのマルチビッグデータ
 お客様のデータWebログ、CRMデータ
 YAHOO! DMP

DMPはマーケティングの中心的な存在
  広告、CRM,LPO、商品開発

YAHOO DMP
 ベロシティー 0.2秒(人間の最短反応時間)
 ボリューム 1ヶ月約560億PV
 バラエティー YAHOOサーボス

 オムニチャネル
  YAHOO!タグマネージャーPlus

 カバレッジ
  PCレベルで8割

 企業の中でたまっているデータ
   優良顧客
   リピート顧客
   新規顧客
   見込み顧客 →YAHOOのデータとぶつけられる
   潜在顧客  →YAHOOのデータとぶつけられる

 接触あるお客様は分析できる
 接触ないお客様を分析

最先端の分析環境
 Hadoop+α MAPR、SKYTREE(機械学習)
 データウェアハウス Greenplum
 ビジネスインテリジェンス tableau

トータルで支援





クックパッド 中村さん
日本最大のレシピサイトを支える食の検索

クックパッドの紹介
のべ4400万人、スマートフォンからが伸びている
  →スマートフォンと相性がいい

チラシ・お店情報「特売情報」
・例:バターチキン
  使われている材料が特売していたら出す

クックパッドに集まるデータ
  日本で一番利用されている料理サイト
  →日本で一番食卓情報が集まっているサイト

検索ワード
  食べるものをイメージ→ニーズの塊
  検索データ:シェア前提でない→本音が見やすい

たべみる
2014年おうちごはん番付
  塩レモン:2014年3月から急上昇
   スタートは2013年5月から?

検索データの活用
・人気のキーワードランキング
・クックパッドニュース
・トップページレシピの選択
  →特売情報と連携:反映

アボカドを7月に売りたい
 7月にピークがくるのはどんぶり
  →アボカド丼 前週比170%、併売品売り上げ急増
    アボカドカッター2年分を3日で

まとめ
 毎日の料理を楽しみにできるような、データ活用方法を





リクルートテクノロジー 西郷さん
リクルートのビジネスを支える分析・活用手法

1.はじめに リクルートの紹介
 何屋→情報サービス
 「まだ、ここにない、出会い」
   ライフイベントとライフスタイル両方の領域
 紙、ネット、モバイル、スマートデバイス
   スマホアプリのほうが、数が多い?
 ネットインフラやデータ分析基盤がKey
 リクルートテクノロジーズ
   外販してない会社

2.基盤について
  Hadoop
  データウェアハウスPureData
  BI
・Hadoop
  パブリッククラウドとの連携

3.活用事例
  200件のデータ利活用推進
 可視化分析
  CameranXSNS解析事例
   アプリダウンロード数とSNSの盛り上がり
 パーソナライズ・レコメンド
  リクナビNext
 成功事例を横展開
 GeoIPアドレスデータ:売ってる
  協調フィルタリングとグラフ理論
 パーソナライズすると→テールが上がる

5.データサイエンティスト
  分析
  テクノロジー
  ビジネススキル・マーケティング・管理能力

Hadoopカンファレンス 2014eventbrite





OKWave 羽野さん

OKWaveのデータ分析ビジネス

Q&AサイトOKWave
累積回答3000万
QAパートナー
 ・教えてGoo
 ・MSN相談箱
   :
Q&Aデータベース

ビジネスに活用
2013年5月「OKWave総合研究所」
  VOC分析レポート
  これまでに十数件

Q&A分析

質問→回答→お礼

ユーザー登録情報の分析
 住まい:社会人30、40台
 収入とローン借り入れ金額の傾向
 ダイエットをする10代女性 VS 30代男性

質問内容の可視化→本音を発掘

回答データを活用した評判分析
  引越しの例
 →自社/競合の製品サービス

お礼データを活用した分析
  「無理なんですね」
 →解決されない悩みから新商品開発のヒント

2つのポイント
1.分析に集中できる環境を作ってもらう
2.分析テクニックよりも考察→アクションプランまで落とし込む





ドワンゴ ニコニコ事業部 細川さん
にこにこ
 登録アカウント数:4000万
 投稿された動画:2400万
 生放送番組:1億8千万
ライフスタイルの移り変わりが分かる→大量のログ
・プレミアム会員が大きな比率
  UGC(UserGenerated contents)
・文化、生態系

A/Bテスト事例
  A,B→挙動変化(CTR/CVRを主な指標として判断)
  消費税の税込み表示 有意差ない

詳細分析事例
  HHI:月間コメント数でのユーザー散布図

分析関連開発
hadoop,fluentD,mahout,H・BASE

より良い相互作用を提供する場へ

データサイエンティストのかかわりから
 ディレクター
   KPI
   ABテスト
   キャンペーン

 アナリスト
   広域分析
   掘り下げ
   数学的手法

エンジニア
   開発基盤

だめな例
  ディレクタ・アナリスト/ エンジニア

シームレスなスキルを持ったチームへ





オークファン 植山さん
 目の研究 1000件
 犬の症状 1万件
 アクセスログ 1億
 オークファンのデータ 200億
  →小売、実売価格過去10年200億
  月々数百円で買う→質屋さんの参考価格
  おーくしょんなどでも
値決め・取引
 データ
 クリーニング
 分析

①データ
  国内ショッピングサイトオークションサイト
  海外ショッピングサイトオークションサイト

②クリーニング
  データビジネスの中心
  オークション:なまえを自分で決められる)
  自動+手動(MOCSY)

③分析
  オンライン
  たぶろう

ビジネスの肝は、②クリーニング作業
 商品:1億件

結論:
データ 汚い、ない




パネルディスカッション:いままでの登壇者みんな

リクルート
メディアの学校
成功事例の共有、横展開する文化

ドワンゴ
 アマチュア→プロになっている

オークファン
 スモールBをターゲット

顧客・ユーザー部門とコミュニケーションで大切にしてること
  ケーパが違う人とアイデアフラッシュする
  スピード感:とりあえず作ってみたけど・・
   →プロトがあると、創発しやすい

狙ったデータがでるとは限らない:NO1
どう使えるデータか、落とし込む

期待値調整、期待を持っている人は誰なのか、期待の色はなんなのか

苦労した定義、水準、指標にまつわるエピソード
後継者、右腕をどのように発見、育成しようとしているか
転職・買収してみたい会社
ソーシャルキャピタルデザイン:
ドワンゴ→イベント
医療カルテ、食品
保育、給食事業者
出版、農業

7月8日 Hadoopカンファレンス

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

英文を無料で校正するサイト

2014-06-26 16:43:23 | トピックス
って、どこだっけ~と思って調べて、

Ginger
http://www.getginger.jp/


は見つかったんだけど、他にもサイトがあることを

英文校正サイトGrammarlyと他の類似サイトを比較してみた
http://alumnusblog.info/ryuugaku/399/



英文を校正してくれる便利なサイト!Grammarlyのメリットとデメリット
http://alumnusblog.info/ryuugaku/393/

で知ったのでメモメモ


  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

最近、フロントエンドは、GruntよりGulpなの?

2014-06-25 15:24:42 | トピックス
このまえ、YeomanとGruntの話聞いてきたのに・・・

私は聞けなかったのだけど、JTF2014でGruntよりGulpみたいな話があったらしい・・


JTF2014「フロントエンドで普及が進むビルドツールたち — Grunt、gulp ほか」の聴講メモ #techfesta
http://beniyama.hatenablog.jp/entry/2014/06/23/214640




July Tech Festa 2014へ行ってきました #techfesta
http://www.koemu.com/blog/2014/06/22/jtf2014/


を見ると・・・・

う~ん、

「gulp.jsチートシート: 使いこなしの7パターン」
https://speakerdeck.com/cognitom/gulp-dot-js-cheatsheet

みて、お勉強しないと・・・

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

JTF2014に行って来た その7DMM.com構成

2014-06-24 16:55:09 | Weblog
22日、JTF2014に行って来た話、最後は

大規模エンターテイメントサイトを支える技術
DMM.comの裏側をお見せします

をメモメモ




・DMM.comの概要紹介

  DMM.com 106名
  DMM.com Labo 実際のWeb 800名

そーらー、英会話も、3Dプリント
オンラインゲーム過半数以上PC 246

収益:コンテンツ配信、通販、オンラインレンタル

クロスデバイス

肉会

どんどん増える会員
ポイントによる決済システム

Web+DBPress78
ツチノコブログ

ネットワークインフラ
データセンター東京3箇所、九州1箇所180Gbps
豊洲FX九州バックアップ、大手町

基本構造図

コアルーター
コアファブリック
エッジファブリック

ハイパーバイザー:KVM、Hyper-V

コアネットワーク

コアルーター

コアファブリック

じゅにぱーさん、ブロケードさんを使ってる
Juniper QFabric使ってる:物理配置の自由度向上
エッジ Juniper,Brocade,管理ネットワークOpenflow対応スイッチ

共有ストレージ HP 3PAR
Hypervisor VMWare

あんしぶるつかってる

パブリッククラウド、CDNは使ってます
コストよりスピード優先

ポイント

複数拠点
ピーク100GBPS超える
4500台~のサーバーインスタンス
新しい技術積極導入

■負荷分散

GSLB
SNAT(L7まで。SSLはサーバーでかける)
L2DSR 内部負荷分散アプライアンスA10

CDNの利用いきなり15Gbps→CDN使ったほうが安い

BGPによるトラフィックコントロール

ロードバランサアプライアンスはA10の機材が多い50台以上

■動画配信

ファイルサイズ→ストレージ
マルチデバイス→エンコーディング
負荷予測→ロングテールなので

大容量分散ファイルシステムGlusterFS
毎日2TBずつ増えている

マルチデバイス
・コーディング

コンテンツアクセス制御

クラウド、CDNの利用
→キャンペーン

サービス連携
・一般向けに公開しているAPI
・コアの部分をしっかり作っておくこと

その他面白そうな技術
NANDフラッシュ
SSDも積極的に

画像専用サーバー
CDN→NANDフラッシュ=低コストと速さの両立

ログ収集
fluentd
elasticsearch
kibara

運用
24時間365日監視体制

さまざまの監視ツール
zabbix
icinga
Munin
Nagios
Cacti(引退予定)

朝会による情報共有
 在庫:スイッチがなくなる
 チケットJIRAによるタスク管理

設備増強
 必要なものは買う 即決稟議
 最低限のスペックは決めている

勉強会

■今後のチャレンジ
・自社クラウドシステム構築
・ピアリングの推進
・データセンターの継続的見直し
・外部への情報発信
・事業拡大に向けての対応

サイトを通じて新しい事業を想像し続けること

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

JTF2014に行って来た その6 Openflow話

2014-06-24 12:04:28 | Weblog
22日、JTF2014に行って来た話のつづき

仮想ネットワークを実現するOpenVNet

をメモメモ




目的
・OpenFlowってどんなものかわかるようになる
・フローが読めるようになる
・OpenVNetの仕組みが大体分かるようになる

OSI参照モデル
・第二層、第三層に関して実際のネットワーク機器上では
 どんな動きをするのか軽くおさらいします。

第二層データリンク層
・EtherNet
L2スイッチの挙動
 Macアドレスとポート番号のペアを記憶する
 →ポート

第三層ネットワーク層
L3ルーターの挙動
・あて先IPアドレスを読み、あて先ネットワークを決定
・ルーティングテーブルを参照し、送信先を決定

複数ルーター間の挙動
・ダイナミックルーティングの場合、EGPなどで

まとめ
L2:スイッチではMacアドレスを元に制御

L3:ルーターではIPアドレスを元に制御

What is OpenFlow
・2009年スタンフォード大での研究が発端
・ONF(Open Networking Foundation)が管理
・OpenFlowスイッチ

現在1.3に対応

OpenFlowプロトコルの説明
・OpenFlowコントローラーとOpenFlowスイッチ


スイッチ:
・接続要求:TCPなど

セキュアチャネルでコントローラーとスイッチを接続
 N対N接続→冗長構造

・HELLOを投げ合う→一番高いバージョンを投げ、会話を決める

コントローラー(フィーチャーリクエスト)→スイッチ(フィーチャーリプライ)

パケットの受信
パケットINでお知らせ

フロー:フローモッド(FLOW_MOD)で更新
    パケットアウト

フローの例
マッチ アクション

オープンフローでは、テーブルごとに処理しない内容を分ける

メタデータ:64ビットの汎用レジスタ

OpenFlow Switch
・OpenVSwitch
・Tremaというフレームワーク

■OpenVNetの実装
・わかめVDCの仮想ネットワークを外だしにしたもの

作った理由
・オープンソースで開発されてない

・複雑なネットワークを作れる→物理ネットワークを単純に

・構成
 エージェントプログラム
 キューイング
 管理するプログラム

VNA:パケットやり取りするエージェント
VNMGR:VNAを管理するマネージャー、MySQLにつながっている
VNCTL:

MAC2MAC
 はなれた物理マシン間でも転送
 ARPリクエストを送る
  Openvswich
   わからないので、となりのマシンにブロードキャスト
   OpenvSwitchが覚える
  VM2からARPリプライ

L3を超える場合:GREトンネル

セキュリティグループ:ファイヤーウォール

コネクショントラッキング
  VNAにVM1→VM2許可、VM2→VM1許可を一時的に入れる

OpenVNetのテスト
Openvnet-testspec
・RSpecで記述
・シナリオごとにyaml
  L3を越えるかなど
  Jenkinsでジョブ管理
Hipchat

Wakame Users Group
7月25日19:00
wakameusersgroup.org

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

JTF2014に行って来た その5 OpenStack/AWS統合管理

2014-06-24 09:53:44 | Weblog
22日、JTF2014に行って来た話のつづき

ハイブリッド・クラウド自動化基盤
openQRMで実現するOpenStack/AWS統合管理

をメモメモ




クラウドになって便利になったか→たいへんになった
  3日後に1000台うごかせ

運用管理自動化基盤の役割
  開発サイクルの高速化
   要件定義
   設計
   コーディング
   テスト
  運用サイクルの自動化

継続的デリバリー

クラウドオーケストレーションツール
  →クラウド:運用複雑

運用管理自動化基盤構成スタック
  OpenQRM→オープンソースのクラウドオーケストレーションツール
  proxmox

  プロビジョニング
  OSインストール
  各種設定
  アプリインストール
  運用監視
  移行・HA/DR
  ユーザー管理・課金管理

異種クラウド環境を統合管理
異種クラウド間のシステム双方向移行
セルフサービス化と課金管理・リソース管理
運用管理自動化基盤の効果
  継続的デリバリーの実現
  構築~実装~サービス稼動まで

AWS/OpenStackインテグレーション

デモ
・VM追加

OpenQRMシステム概要
・プラグイン構造
  OpenQRMサーバー
  物理構造
  クラウドサービス
  ストレージ

・サーバーテンプレート
・LinuxCOE+Ansible/Puppetで全自動

・HA構成
  LVMCインテグレーション

マイクレーション
P2V/ V2P (Vバーチャルpフィジカル)

Zabbix・Nagios監視

ポータル画面
  API

利用例:BCP/DRサービス

OpenQRMユーザー会

----どこかで出てきた気がする----

ぴくしーぶーと
CCU課金単位

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする