ウィリアムのいたずらの、まちあるき、たべあるき

ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです(たま~にコンピューター関係も)

CiscoのSDN OnePKが(ルーターとかなくても)VM使って確かめられる(2)-起動

2014-04-24 12:40:53 | ネットワーク
シリーズ?

CiscoのSDN OnePKが(ルーターとかなくても)VM使って確かめられる

前回はダウンロードしてきました。
今回は、
(1)VM作成
(2)VM起動
(3)サンプル(3-node)起動
を行います。

以下のサイトを参考にしています。

onePK を使ってアプリケーションを作る – All-in-one VMのご紹介
http://gblogs.cisco.com/jp/2014/04/developing-applications-with-onepk-all-in-one-vm/





■(1)VM作成
まずは、Virtual Boxを起動します。
そしたら、

  ファイル→仮想アプライアンスのインポート

出てきたダイアログで

前回ダウンロードしたOVFファイルを選択し次へ

MACアドレス、再初期化しました・・・ま、インポート

こんなかんじでがんばります。

VMができました(2個目:赤丸)




■(2)VM起動

VM(赤丸のところ)をダブルクリックして起動します。

待っていると、いつものubuntu画面に

はじめのパスワードは「cisco123」ですので、それを入力

新しいパスワードを聞いてきます。適当に入れます。
もう一回、確認用に聞いてきます。同じパスワードを入れます。

I accept...をチェックして右側のボタンクリック

ネットワークシミュレーターのユーザー名とパスワードを聞いてきます。
めんどっちいので、アカウントと同じ、
ユーザー名cisco パスワードpassword
にしましたけど、好きにいれてください。

なんか、welcomeされてます・・・OK




■(3)サンプル(3-node)起動

なにしたらいいか、まったくわかりません・・・
QuickStartupGuide.pdfをあけてみます。

どうも、3-nodeというデモがあるみたい。

start3nodeというアイコン(緑のまる)をダブルクリック

がんばってます

つくったそうです。OK

なんか、端末が出てきました。
ちょっと、(いや、かなり)まっていると・・・

なんかでてきて、さらにまつと・・・

%Error opening・・・とでてきたあと、反応ないので、Enterキーをくりっくしたら、
入力できるようになりました。

おお・・・

enable

show ip route

してみたら

なんか、つながっているようだが・・・よくわからん??

・・・わかんないので、今回はここまで・・・


  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

コンジョイント分析とバスモデル

2014-04-24 09:47:28 | AI・BigData
データ解析というと、最近はビッグデータだが、もともとは
マーケティングでよく行われていた。

 マーケティングの解析と、ビッグデータの解析は手法や理論がちがう。
 ビッグデータ解析は、背景となるマーケティングモデルはない。
 (統計学的手法、機械学習をベースに、モデル(仮説)を発見し、検証する)


 一方、マーケティングには、マーケティング的なモデル(仮説)がある。
 今回紹介するバスモデルは、もともと動的システムで表現される
 微分方程式の数理モデルがあり、
 コンジョイント分析は、効用理論に基づき、補償型意思決定を行うというモデル
 をもとに構築されている。

今回は、コンジョイント分析とバスモデルについて、授業の内容をメモメモ





今日のテーマ:どっちも回帰分析
プロダクト:ライフサイクル(ロジャーズ)

■バスモデル

新製品が出された後

新製品:急速に、長く広がる
→どちらかというと、耐久財の解析に向いている

新製品と新商品の違い
→本当は違いがある

新製品の分類:コトラーの分類
カテゴリーに商品を出しているか/既存ブランド?新規ブランド?
→企業にとっての新しさ/消費者から見たあたらしさ

ライン拡張:爆発的には売れないが、大失敗もしない
新ブランド:大成功するかもしれないけど、端にも棒にも
マルチブランド:意外に難しい
かてごり拡張:親和性

イノベーションと新製品
→マーケティングの文脈では、コンセプト同じ

プロダクト・ライフサイクル
・立ち上がりを早く
・高止まりを長く
が理想。そうはならない。
段階に応じたプロモーション
→データ量:発売当初は少ない

1.認知、2.関心、3.評価、4.試用、5.採用

ロジャース
イノベーションの採用決定段階
1.知識、2.説得、3.決定、4.導入、5.確認
コミュニケーション
1.マスメディア→知識、2.対人→説得
バスモデルの考え方

→しょうひざいだとうまくワークしない
  非計画購買 日本70% アメリカ50~60%

値段のちがい→後悔

イノベーター理論の骨子:正規分布になっているのがポイント
→現実との乖離

バスモデルによる解析
・耐久消費財の新規需要
・導入期から成長期
  →万能な解析手法はない。データが少ない状況下で解析
・せんざいてきこうにゅうしゃ
 革新者イノベーター
 模倣者イミテーター

求めたいのはp、m、q
式を変形してa,b,c

導入初期、いけるか/いけないか?

-----------------------------
新製品を作る

あんぞふの成長マトリックス
PPM

クライテリア
1.市場規模
2。市場特性
3.市場環境

まったくかんけいなく・・・

■コンジョイント分析

全体効用=部分効用の総和
効用が高いものを選ぶ→消費者の合理性

実験を行う
・仮想のサービスを示す
・評価:1から6位まで順位

意思決定ルール
・ほしょうがた意思決定ルール
・非ほしょうがた意思決定ルール

属性ペアの比較
部分効用→推定

使い方
・全体効用

効用測定モデル
  重回帰係数をといて、重回帰式を求める
   →かてごりかる(0,1)にする
   =ダミー変数

正規方程式
Rで直交表をつくるパッケージがある
直交表→ラテン方格

-------------------------

■実習

コンジョイント

library(Rcmdr)
データを全て選択・コピー
データ→データのインポート→テキストファイルまたは・・・
統計量→モデルへの適用→線形回帰
  出てくるダイアログで
    目的変数:全体回帰
    説明変数:各カテゴリ

部分効用値:見積もりから平均をもとめて、引く
→重要な属性を聞いていなければ、無意味になってしまう

-------------------------

■バス

データを全て選択・コピー
データ→データのインポート→テキストファイルまたは・・・
統計量→モデルへの適用→線形回帰
  出てくるダイアログで
購買者数 一期前累積 2乗

あとは公式に入れてa,b,cを求める

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

CiscoのSDN OnePKが(ルーターとかなくても)VM使って確かめられる(1)-ダウンロードまでした

2014-04-23 15:45:11 | ネットワーク
CiscoのSDNである、Cisco one PK.
本来は、ルーターとか、スイッチとかでやるんだろうけど、
最近NFVがはやっているように、仮想化したVM上にルーターとか作って、
たしかめることもできるみたい。

そして、Ciscoは、そのOne PKを入れたVM(ubuntuで)を公開していて、
Ubuntu 上に onePK の C 言語、Java、Python の SDK と仮想 IOS ルータを含む環境がすぐに利用できます。
らしいよ!

詳しくは

onePK を使ってアプリケーションを作る – All-in-one VMのご紹介

(本エントリ内の太字は上記サイトより引用)

で、まずは、ダウンロード


All-in-One Virtual Machine
https://developer.cisco.com/site/networking/one/onepk/sdk-and-docs/all-in-one-vm/index.gsp

にいって、

「Download the SDK」の下の「All-in-One VM 」をクリック
そうすると、この画面にくる

(英語になってるかも。そのときは、上の「言語」を切り替えて)
うちは、CISCO.comのIDを持っていたので、「ログイン」をクリックした。

持ってない人は、「新しいアカウントを作成する」の「今すぐ登録」をクリック
で、そこから登録できるんだけど・・・


・・・自分の場合、昔登録して、なんか、今回会社名とか、英語で聞かれたんだよねえ~、
登録の仕方がわかるったのかな?

ま、最終的には、ログインできて、とにかくダウンロードできる。
(もう一回、ダウンロードサイトにいって、入りなおしたかなあ?
 よく覚えてないや・・・)


2G以上あるので、とっても時間がかかる。
Chromeだと、進捗状況がわかるので、今の例はIEだけど、Chromeのほうが
いいかも(ってか、自分はChromeで落としてきた)

で、いまここ。

このあとは、またこんど。

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

アジャイル、RESTによるWebサービス化に対応できないと、今後の開発は難しいものがあるかも?

2014-04-23 12:48:38 | ネットワーク
この前書いたエントリ

電力小売自由化・東電分社化の記事見て、やっとOpenADRがなぜ必要か分かった!
http://blog.goo.ne.jp/xmldtp/e/34e9850a17c98ed32742f0a541165c0a

とか、

健康保険、厚生年金にもマイナンバーいるの?源泉徴収票、支払調書にも?どこまで開発必要?http://blog.goo.ne.jp/xmldtp/e/d1589b040e215d06fee07a2a2f133ea8

とか、最近は

「大きなプロジェクトになることは分かっているが、詳細はよくわからない」

というものが増えてきた。
こういうのが増えてくると、結局開発はアジャイルということになる。
そして、画面上とサーバー側を完全分離して、同時並行的に開発しないと
間に合わないし、関係箇所も多いので、複雑怪奇になってしまうから、

サーバー側は、サーバー側で、REST側のWebサービスとして開発し、
クライアント側は、それらサービスをAJAXでマッシュアップして画面を作る

という感じになるんでしょうね!

こうすれば、クライアント側は、サーバーの開発を待たずにダミーで
開発できるし・・・

結合以降のテストシナリオ(Seleniumなどで作成)も、同時並行でやっちゃう
形でしょうか・・・

そういう開発形態、つまり、
アジャイル、RESTによるWebサービス化に対応できないと、
開発会社は、きびしいものがあるのかもしれません。



  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

健康保険、厚生年金にもマイナンバーいるの?源泉徴収票、支払調書にも?どこまで開発必要?

2014-04-23 09:11:51 | Weblog
日経コンピューターを整理していて、偶然
2014年3月6日号(ちょっとまえ)の10ページ

マイナンバー制度の政令公表へ
対策チームと予算確保が不可欠

というのをみてびっくる(以下太字は上記記事より引用)

パートやアルバイトを含む全社員や謝金などを支払う社外の個人の番号を把握して、支払調書などに番号を記載しなければならない

そして

健康保険や厚生年金にもマイナンバーが必要だと話して、企業の実務担当者に驚かれることもある


え、ええ(@_@!!!)・・・

支払調書に書くのなら、当然、源泉徴収票にも、マイナンバー、必要ですよね・・・

たしかに・・・

http://asist.ssr.titech.ac.jp/wp-content/uploads/2abe.pdf

をみると、「(参考3)地方公共団体でマイナンバーを取り扱う業務」の「対職員」に
「支払調書や源泉徴収票へのマイナンバーの付記」ってあるし
・・え、ええ(@_@!)
そこには「子どものための手当を申請する際」とかあるんですけど・・・

まじっすか、そんなところまで必要ですか・・・

ってことは、
・まず、支払調書や源泉徴収票その他の帳票の修正
・帳票にデータを書き込むため、従業員のマスタにマイナンバー追加

だけじゃなくって・・・

・いままで、データベース化してなかったかもしれない、
 謝金を支払った人のデータをマイナンバーつきで管理

っていうことが必要ですよねえ・・・

マイナンバー、どこまで開発が必要なの?



  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

マイクロソフトが分析ツールに本気だしたら、ベンチャなんて一気につぶれる

2014-04-22 19:32:29 | Weblog
4月18日に行ってきた、

Microsoft SQL Server2014 発売記念フォーラム
ビジネス成長を支えるデータ基盤とビッグデータ活用

のメモメモ、まずは、

一億総データサイエンティスト時代に向けて

について




・マイクロソフトが分析ツールに本気だしたら、
 ベンチャなんて一気につぶれる

・マイクロソフト→パソコンがある世界
  2000年:PC50%超える
  →統計学でデータ解析

・医学部で統計学が必要な理由
  根拠に基づく医療
 経験と勘→もんだいだよね!と80年代から知られる
   心筋梗塞→不整脈
    不整脈の薬、どれがいいかを調べたい
    →プラセボをしらべたら・・プラセボのほうがいいじゃん(>_<!)
   意外と人間の反応複雑・・・

  エビデンスド・ベースド・マネジメント

・医学における統計学
  何によって死ぬ?→がんが多い 集計だけでわかる
  減らすアイデア:喫煙、野菜不足、過剰塩分(生活習慣病)
    →ただしい知識だけでは。。。
  行動科学:心理、環境
    寿命の延び:塩分摂取量変わった→冷蔵庫
    たばこ:反抗心→きみたちが
      戦略さをひっくり返せる
        →ソーシャルマーケティング:フィリップことラー
  Hal varian(2009)
   10年
   データサイエンティスト→統計家といっている!!

・さいえんてぃすと
  暗闇からはじめちゃだめ
  →先人があけてくれている穴を探す
   いろんな人が別々に・・・つながる!
・データ分析者の必読書
  Research Design

・リサーチデザインを知らないと
 わが社のデータを分析したいんですが
  なるほど、あなたの仮説を教えてください

・仮説指向の限界
   多くのデータがあるのに、仮説の部分しか見ていない
   YESかNOかに頭が反応→上司がいうと、引っ込めなくちゃならない

・かつては正しかった理由
   パンチカードの時代
   いまはすべてできる

・仮説ではなく、問いを
   オープンクエスチョン
   具体的
     解析単位 :望ましさを比べる単位
     アウトカム:望ましさを具体的に定義
     説明変数 :望ましさを左右しうる特徴
  分析→基本的に比較

・分析方針は比較軸→望ましいものと望ましくないものの比較軸

・アウトカム(成果)を重視
   アウトプット:中間結果でも。。
   アウトカム:ゴールに対して

・アウトカムの定石
 ブランドイメージ→利益:わからない

・解析単位の定石

・仮説ではなく説明変数を

・ECサイトのログ解析を例に

・全ての説明変数を多変量解析

・分析結果からアクションへ
  動かせないアウトカム→動かし得る説明変数:相手を変える
  動かせないアウトカム→動かせない説明変数:狙いをずらす
  動かせないアウトカム→動かない説明変数*
              →制御下にある説明変数:最適化
 *季節、天候など

・今、自分が行っていること
  一番低い人に合う
  すごいお金をかけても、迷惑メールに

・世界史上最も統計学で儲けた国
  日本:「KAIZEN]
   →デミング
 デミング以前の日本の工業
   GHQ:電話不安定すぎ
    →セミナー→かいぜん

・If Japan Can... Why Can't We?
  1つは数学能力高かった
    塵劫記:1627年に吉田光由で執筆
  もうひとつの答え:QC7つ道具
    管理図、パレート図・・・
   意味のある視覚化
   型をきめて体で覚える
   現場レベルで全員が迅速に

まとめ
 科学の型を利用しよう
 仮説ではなくオープンな問いを
 データとサイエンスが当たり前の国へ




このあと、

本気で始めるクラウド&ビッグデータ活用

ということで、デモ中心のセッションがあった。

こんなかんじ

--------------------

ビッグデータの活用
マイクロソフトのビッグデータ活用ビジョン
・ビッグデータの民主化
  非構造化、構造化データ SQL Server
  使うには:Office365・・・

・活用例
  流動人口データ解析:Agoop
  スマホアプリログ解析:ビデオリサーチインタラクティブ
  SNS分析サービス:ジー・サーチ
  生産情報の見える化:マイスター

・デモ1
 POWER BI
 Power Map
   ヒートマップ
   棒グラフ
  →コーディングいらない
 池袋駅前

・でも2
 消費者スマホ利用行動分析
  ぱずどら、Lineつよし
 ゲームユーザー、30台以上は女性つよし!

・でも3
 Twitterのログ情報をとってきて・・
 気分、感情・・・
 イメージのみ(200件しか取れていない)

・でも4
 Visio
 工程表の上で可視化
 CAD図面
 →壁に出すとか

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

認定情報処理技術者制度(高度の上)について、聞いてきた!

2014-04-22 16:08:34 | Weblog
ぎゃあ、今気づいた!(いままで下書きにしてた!)
ずっと昔4月2日に
SEA Forum:「ソフトウェア技術者資格制度」の是非を考える
を聞いてきたので、その内容をメモメモ




<<話の内容>>
派遣法改正がらみのテーマ
楽にはならない
チカラのある人:資格制度が役に立つのでは・・・
認定情報技術者制度CITP
ITスキル標準レベル4以上
レベル5:課長さんクラス
ソフトウェア技術者の国際標準

資格制度検討のきっかけ
情報技術は魅力ある分野として認識されていない
情報処理技術者はネガティブに 3K
情報技術者の社会的地位が低い
   →プロフェッションの可視化
高度な能力を持つ情報技術者の可視化と社会的地位の向上
   国際標準に準拠した資格制度
   グローバルに通用、国際ルール
プロフェッショナルコミュニティの形成
   ピアレビューによる評価
社会や産業界に対するいっそうの貢献

認定情報技術者制度の意義
 (省略)

日本の情報処理技術者の推移
  日本の技術者219万、うち情報処理技術者89万
  ITベンダー 79万6千人
  利用者側   26万8千人
 高度=30万人(レベル4以上、ハイレベル)

IT人材の質に対する不足感
  →高度IT人材のニーズ
    量に対する過不足感は、短期的な変化の影響を受けやすい

企業における高度IT人材のニーズは大きい

情報処理試験
・ITパスポート、基本情報は下がっている
  →IT人材自身も高度に関心

ISO/IEC 24773:2008
・各種のサーティフィケーション、クオリフィケーションの認定
  サーティフィケーション;更新性があるもの
  クオリフィケーション ;更新性がない
資格制度の評価基準

→こんぱりぞんフレームワーク

ISO/IEC JTC1/SC7/WG20で改訂作業が進行中
情報処理学会からエディタを派遣して改訂作業に参画

IFIPとIP3
  IFIP:日本は情報処理学会
    IP3:高度IT人材資格制度(国際的な相互認証)
    →ISO/IEC24773等に適合
    →IP3の認定取得を通じて

認定情報技術者制度
2本立て
(1)個人認証:個人が書類審査(直接方式)
(2)企業認定:社内資格制度が一定レベル以上であることを保証(間接方式)
    →WG20やIP3でも説明・了解済み

個人認証の審査
・申請者
  知識
    情報処理技術者(高度試験)
  業務実績
    最近の業務2件
  プロフェッショナル活動
・推薦者
  上長から

・企業認定
  書面確認と実地審査
 企業認定基準
   企業内制度における仕組みにかかわる項目
   企業内制度における、資格認証の要件にかかわる項目
 企業認定での企業内人材の資格認定

・スケジュール
  2013年度 個人認証の試行
  2014年度 個人認証(直接方式)の本番運用
    →レベル4から
     企業認定(間接方式)の試行を開始
  2015年度 企業認定(間接方式)の本番運用を開始

・最近の関連トピックス
 IT融合人材育成連絡会
 スキル標準のあり方に関する研究会
 技術士制度の改革

<<パネル討論>>
・よくわかんなくなってきたので省略

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDNの素朴な疑問:経路が無限ループにならないことって誰が保証するの(STPみたいなの)

2014-04-22 12:49:54 | ネットワーク
昨日、

SDN/Openflowって、こういうことできる?(共通問題と思いついた構成:合ってるか不明)
http://blog.goo.ne.jp/xmldtp/e/bbe4e267b720b7507b9edc375926a7db

を書いていて思ったんだけど・・・

スイッチ間を2本の線で結ぶことがある。
冗長性をもたせるためで、1本が切れても大丈夫なように・・・
しかし、2本の線、両方とも使ってしまうと、
スイッチ間でパケットが無限ループしてしまう。
そこで、2本のうち、1本の線は事実上、使っていない。

L2のスイッチにおいて、このパケットの無限ループを検知しているのが
STP(スパニングツリープロトコル)
スイッチでは、これを作ってくれている。

ちなみに、L3では、RIPのようなディスタンスベクタ型の
場合は、ネットワーク全体の情報を持たない。
OSPFのようなリンクステートではAS内のネットワークリンク
は持つ。しかし、その外はわからない。
そこで、ツリーではなく、TTLで無限ループを避ける。

で、ここで問題。SDNは、この無限ループ防止を誰がどのようにやるの?
SDNコントローラー?自分で無限ループ防止プログラムを書くの?

・・・どうするんだろう・・・

と思って調べたら

シスコのデータセンターファブリック技術の進化
http://gblogs.cisco.com/jp/2014/01/evolution-of-fabric-technology-in-cisco-data-center/

う、おこちゃまなウィリアムのいたずらには、刺激の強すぎる言葉ばかりで・・・
・・・ついていけてない・・・

※自分へのメモ、あとでみる

Cisco Japan Blog
http://gblogs.cisco.com/jp/category/sdn/



  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

高まるインメモリデータベースへの期待

2014-04-22 08:47:47 | Weblog
4月18日に行ってきた、

Microsoft SQL Server2014 発売記念フォーラム
ビジネス成長を支えるデータ基盤とビッグデータ活用

のメモメモ、次は

高まるインメモリデータベースへの期待
~本格化する市場競争と検討時の留意点

について




ITRの紹介/宣伝

概要
 各ベンダ、インメモリDB売る

論点
・企業ITの現状と課題
・国内市場におけるインメモリデータベースの現状と課題
・インメモリ・データベースの選択時の留意点

投資動向に見るIT戦略のトレンド
・2012、2010年度比較
・コスト削減→売上増大
  ・顧客サービス、プライバシー、セキュリティー、ワークスタイル
  ・DB、システムも新しいチャレンジ

企業におけるITシステムの今後のデータ量
・分からない人が割りと多い(2割)
・増えてる
  →情報系(コラボ、コミュニケーション)
   全体的に増えている
・主要なIT動向の重要度指数
  IT基盤の再構築
  ビジネスプロセスかしか
  ナレッジマネジメント
  コンテンツ共有
 →BIGデータ中位、BYODは遅い
 →伸び率はBIGDATAが一番

ビジネス貢献のための迅速なデータ提供
  3V:量、更新頻度、多様性

ビッグデータ活用
  4A:収集、蓄積、分析、活用
 →ためてても、なにもいいことがない

--------------------

インメモリDB 
調査:2013年10月
回答者:200人、

RDBMSの課題
・DWH
 データボリューム
 セキュリティ
 クエリ性能
・OLTP用途
 トランザクション(41.5% 複数回答)
 データボリューム

ERP:データの変化ない?
→売り上げ貢献

インメモリデータベース導入状況
23%は導入、1年以内19%
  →興味ないのは1割のみ
  →一部にインメモリ導入もある

インメモリDBの期待
 クエリ性能の向上、トランザクション、データローディング向上
  →案外忘れられてるのが、データローディング

インメモリデータベースを利用したいアプリケーション
  顧客管理、SFA、データ分析、B2B・・・
  →基幹は皆無、よりフロントのシステム

期待値精度
 OLTP 2~10倍
 DWH 10~50倍
 →1万倍とかいうひと・・システム全体、とくにOLTPではあり得ない

利用したいインメモリDBベンダー
・マイクロソフト
・オラクル
・IBM
・富士通
 →SAPは12%
システムの数では、MSのほうが多い?
 →シェアは金額
良くマイクロソフト1番が出てくる

・SATA,SAS ミリ秒
・フュージョンIOなどのフラッシュストレージ マイクロ病
・DRAM ナノ秒
  →20年間でDRAM1000分の1の価格
   DRAMをストレージに使える
   永続性:DRAMは電源切ったら中のデータとぶ→問題点
   いろんなところにボトルネック:ネットワークとか

利点と課題
・RDBMSの課題I/O性能
  →ハードディスクのシーク/レイテンシー

・これまでの解決策
  より高速なハード(SATA→SAS)
  複数台分散
  インデックス
  メモリへキャッシュする
  フラッシュストレージ
  インメモリデータベース使う

・インメモリデータベースの課題
  DRAM必要(まだ高い)
  専用のIMDBMS

・懸念
  運用管理コストの増加
  ハードウェアコスト
  ソフトウェアコスト
 →新たに用意

・懸念点に対して
  運用コスト
   →現在利用しているRDBMSと互換性たかい
  初期導入コスト
   必要なところ
   TCO
   代替案
     RDBMSチューニング
     ストレージの高速化
     Hadoopの検討

  データ制限:10T

  可用性・耐障害性
    ログ、スナップショット

 問題
 Times TenとOracle DBとの問題
   言語はまったく一緒でない、データタイプの差異

-------------
今後、選択すべきインメモリDBは?

  RDBMSとの互換性→RDBMSとの統合
    開発環境、開発方法、
    既存のアプリ(HANAの高速性能を出すには、置き換え必要だった)
  インメモリ早い。でも高い→どこに使うか

結論
・インメモリDBをどう使うかが重要
  →インメモリかどうかは、意味を持たない
・ビジネス上のメリットをいう





  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SQL Server2014のポイントはインメモリってことらしい

2014-04-21 19:46:57 | Weblog
4月18日に

Microsoft SQL Server2014 発売記念フォーラム
ビジネス成長を支えるデータ基盤とビッグデータ活用

にいってきた。

まずは、一番初めのセッション

・ビッグデータ活用を成功に導く鍵

についてメモメモ




 SQL Server:2桁成長 手ごたえを感じている製品

ビッグデータの民主化(みんなが使う)=成功の秘訣

・モバイルファースト&クラウドファースト
  デバイス
  アプリ
  ビッグデータ
  クラウド
→デバイス使用増えている:それぞれで使うアプリ→データ
  たくさんのデバイス*たくさんのアプリ=データ増える
   非構造化データも含む:クラウド必要

ubiquitous computing + ambient(あんびえんと) intelligent
雰囲気のように、いたるところにインテリジェンス

テクノロジーギャップ

data exhaust

3つのステークホルダー
・人:ツール使う
・データ:基幹システムとして管理
・アナリティクス:構造化、非構造化でも
それぞれの分野にアセットをもってる:MS

技術的要因
・インメモリ機能による高速処理
・ハイブリッドクラウド
  オンプレとクラウド
・ビッグデータの民主化

インメモリ
・Excel
・Data Warehousing And Analytics
   SQL Server2012
・OLTP
   SQL Server2014

SQLServerのコアエンジンにインメモリ
既存のハードを使って
1つのDBでトランザクションもウェアハウスも

インメモリの効果:SQI リクイディティ マーケット
 →FX、SQLサーバー、さらに30倍の性能

Demo 2014 インメモリ
・設定
   プライマリーキー→ハッシュインデックス
   オプティマイズ、スキーマは消す?
・2万件入れる 4.81秒、(SSD使ってる)
・0.08秒
→30倍以上の性能

カラムストア:更新可能
  →カラムストアをCREATE Indexする。
   3000万、20秒、11Gの集計 
   →更新時間2秒、1G

グループスのお話

花王

SSDアプライアンスも提供
→メニーコアとかと事前に検証

中小、スタートアップ→クラウド上に
 ビットアイル提供

---------------

■クラウド

ハイブリッドクラウド構成
  オンプレミスデータの分析
  バックアップ、災害
  従来のアプリ
  アプリケーションに最適化
 Azure SQLDBサービス
 オートスケール

・デモ
 クラウドストレージにバックアップ
 日本にきたのでWANなみ
 →バックアップ先をURLに
 レプリカの追加
 フェイルオーバーの実験

マンパワーグループ

-----------------------

リーチ:ビッグデータの民主化

あらゆるデータをリアルタイムに活用
 ・ExcelとPowerBI
  パワーピボット・・・・などなど

・デモ
・地図上に表示:パワーマップ
 スライダー
 POSデータ
   日曜、木曜比較
   関連性
 パワーQA
 しゃべってBI?

日テレ:ビデオで紹介
わかさ生活:ビデオで紹介 1分から3秒、Excel2013

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

電力小売自由化・東電分社化の記事見て、やっとOpenADRがなぜ必要か分かった!

2014-04-21 14:59:58 | Weblog
日経コンピューター2014年4月17日号を眺めていて、

東京電力に迫る自由化対応
80強の業務システムを改修へ

(11ページ)をみて、やっとOpenADRがなぜいるか分かった!

まず、その記事は
・電力小売自由化に経産省、がんばってる
・東電は、2016年から「小売」「送配電」「発電」を分社化
・そこで、システム改修(ただし、パッケージソフトを活用、カスタマイズ最小限)
というはなし。

OpenADRは、

実装間近!電力系新プロトコル「OpenADR」
http://www.keyman.or.jp/at/30006086/

にあるように、電気がほしい人(需要家)と、電気を提供したい人
の間に、アグリゲーターがはいって、電気供給を実現する際に、
需要家、発電所、アグリゲーターの間でやり取りするプロトコル。


デマンドレスポンス・インタフェース仕様書
http://www.meti.go.jp/press/2013/05/20130515004/20130515004-7.pdf


こんなの、何で必要なんだ?東京電力とか、中部電力とか
ほとんどが地域の電力会社でまかなっているのに・・・

・・・と思ったけど、分社化するんだね!
あ~そうすると、なんだ、いろいろあって、情報もこういう形で
オープンインターフェースでやんないといけないんでしょうなあ~

なんとなく、必要性はわかった。


  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

SDN/Openflowって、こういうことできる?(共通問題と思いついた構成:合ってるか不明)

2014-04-21 11:33:45 | ネットワーク
SDN/Openflowって、いろいろ出ているけど、
どういうケースにおいて、どういう製品を組み合わせたら
実現できるのか?っていうのが、よくわからないよね。

で、ソフトウェアには、共通問題というのがある。
酒屋倉庫問題、図書館問題、話題沸騰ポットなど・・・
共通の問題をいろいろな手法・言語・方法論で解くことによって、
比較ができるわけです。

ということで、
SDN/Openflowの共通問題
といいますか、こういうことできるの?と考える、共通問題を作ってみた。




■SDN/Openflowの共通問題を作ってみた!

そこで、SDN/Openflowの共通問題を作ってみた!

【お題】

スイッチに2台にそれぞれPCが繋がっていて、
それらをまとめるルーターが1台ある。
普段は、

のように、左のスイッチから右のスイッチにトラフィックは流れる。
(ルーター→右側のスイッチは使っていない。
 また、スイッチ間に2本の線が繋がっているが、trunkで、一方は予備。
 使っていない)
ルーターは、外部のインターネットに繋がっている。

ここで、以下のように、


PCそれぞれにスイッチが繋がっているのだから、
ルーターで、スイッチのパケットを振り分けてほしい。
ただし

【条件】
(1)普段は、はじめのように
  ・左のスイッチから右のスイッチにトラフィックは流れ
  ・ルーター→右スイッチの線、スイッチ間の一方の線は予備

(2)回線が混んできたら(ということを誰かが認識する)
   ルーターが左スイッチ、右スイッチを切り分け、
   ルーター→各スイッチ→PCに流れることにする
   (このとき、スイッチ間の2本の線は使わない)
   混雑が解消したら、元の(1)に戻す。

(3)回線の混み具合に関係なく、ブラウザからの指示で、
   強制的に(1)のルートから(2)のルートに移行する
   あるいは(2)のルートから(1)のルートに移行する

なお、図は、ルーター、スイッチを分かりやすくしているために、
その形で書いているのであって、実際には、そこにPCを置いても、
PCは1台で、仮想的に(virtual boxとかで)複数のノードを作成しても
かまわない。

これ以外に必要なものは(監視用PCなど)、適宜付け加えてよい。






■こんな構成を考えた

できるかな・・・?

赤字が役割、青字がオープンソースでやった場合のソフト名

きっと、コントローラーとスイッチがいるんだよ。
コントローラーは、流行のtremaにして、スイッチも流行のOpen vSwitchにしてみた
接続方法は、

Trema 日記 Openvswitch を OpenFlow スイッチとして使う
http://trema.hatenablog.jp/entry/20120403/1333451177

参照

で、きっと回線の混み具合とかは、それぞれのスイッチのトラフィック量が
ある一定値以上だったら、SNMPトラップで、なにか上げてもらう・・・
という考えもありかもしれないけど、
ここはZABBIXから、SNMPポーリングでトラフィック量をもらうことにした
ということで、SNMPも、スイッチ側にいれてみた。


SNMP を使用した帯域幅使用率の計算方法
http://www.cisco.com/cisco/web/support/JP/100/1000/1000551_calculate_bandwidth_snmp.html

   
で、どのくらいのトラフィック量だとまずいかは計算できる

で、監視用にZABBIXをおく。
なぜ、SNMPトラップを使わず、トラフィック量を常に求めているかというと、
・混雑しているときはSNMPトラップでできるかもしれない。
・しかし、混雑→平常にもどすとき、左と右の両方の容量がわからないと、
 平常時に戻したと単に、また混雑に切り替わり・・・
 とかいうこともあるかもしれない。
 十分に混雑が収束したということを検知するには、たぶん、常に
 双方のトラフィック量を監視していないと分からないだろうということで、
 今回はSNMPトラップでなく、ZABBIXのSNMPポーリングにした。

ということで、監視用にZABBIXをいれる。
ZABBIXで監視、問題が起こったら、ZABBIXからシェルがたたける・・・とたしか思った。
でシェルをたたく。

そうすると、そのシェルから、REST APIを使って、trema(SDNコントローラー)を
制御する。tremaのREST APIは、

Sliceable Switch を使う (その2)
http://trema.hatenablog.jp/entry/20120713/1342172735

に書いてある。Apache(というかHTTPサーバー)がいりますね。


 さらに、HTML+Javascriptを使って、強制変更(ブラウザからの指示で
 回線操作、【条件】の(3))を行う。




こんなかんじでできるかなあ。。。?

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

STAP現象面白い!!研究とまると、日本は大ダメージかも?-理研・笹井氏

2014-04-20 15:35:12 | Weblog
理研・笹井氏の会見見て、STAP現象に興味津々。これ、研究したら、相当フルーティフルなんじゃないかしら!

もう、
小保方さんのこととかは、ドーデもいい話で、
小保方さんのことばかり取り上げ、日本でこの研究が遅れて、
小保方さんが、海外に行って業績上げたりしたら、
日本は、とりかえしもつかないくらい、生物学、医学、薬学的に取り残されると思う!!ちょう、やばすぎだろう!

まず、

【動画】STAP細胞論文の共著者・笹井芳樹氏が会見 .
https://www.youtube.com/watch?v=xu-XUie-Hbc


このはじめの部分をメモメモ
(全体は3時間あるけど、はじめの笹井氏の説明部分と質問の2、3だけ。
質問はどうでもよさそうなので、見なかった)

注目は、<<科学的説明>>の(2)と(3)
<<一般的な疑問について>>の(1)は参考になる
ほかは、はっきり言って、みなくてよい(特に質問)

なお、会見中にメモを開くようにいう。
また、4段階の説明がある。
その資料は

http://www3.riken.jp/stap/j/s3document1.pdf

にある




<<メモメモ>>

5分30秒から

<<一般的な疑問について>>
■(1)役割
  おぼかたさんが若山研究室→ユニットリーダー
  投稿まで
   ・着想、発想:ハーバード大、若山研
   ・実験実施:若山研(75/80件、おぼかたさん、わかやまさん)
   ・実験データの解析、図表作成:若山研(おぼかたさん)
   ・まとめて、論文に書き上げ:笹井氏、若山研(おぼかたさん)
     →投稿して却下
     →担当は書き直し部分、図表の再整理
        →このままでは通らない
  →STAP現象は、そこまで聞いたことない
  著者としては、最後の2ヶ月強参加
    当時、協力指導→バカンディ氏から参加依頼
    レター論文:共著者→若山さんから責任著者に

■(2)過誤を見抜けなかった理由
 多くのデータは図表
 生データやノートを見れない
 PIで直属の部下でない:ノートをもってこいとはいえない
 図表は問題点を見抜けない
 ライブセルイメージングの解析など
   →シニアな研究者がはいる特別な研究
   →二重、3重のチェックできなかった
   →チェックするのは困難、注意喚起できなかったか?

■(3)経験の浅い若手の研究リーダーを選んだのは問題では?
  たけいちセンター長が説明するのがいいけど
  人事委員会の委員でもあるので説明

 研究プレゼン、推薦→採用決定
 本人とは、採用面接のときはじめて
 30歳くらいの研究リーダーは珍しくない
   未経験な部分も多い:研究ユニットを主宰
   シニアな研究者、多面的に

■(4)本論文に同意する?
  再現検証必要→撤回が必要
  STAP現象

■(5)STAP細胞とIPS細胞の比較
  実用性を目指していない
  STAPの初期化原理が目的
  ところが、STAP細胞とIPS細胞の話になってしまい・・
  山中因子の数字を使ってしまい・・・
  →改良でIPS細胞の誘導効率は高い
  STAPの優位性を

<<科学的説明>>
■(1)STAP現象の存在の有無
  STAP現象を前提としないと、説明できない
 →検証すべき仮説:合理性の高い仮説
説明できないもの
  ・ライブセルイメージング
  ・特徴ある
  ・キメラマウスの結果
反証
  ・ES
  ・自家蛍光によるアーティファクト

検証で必要な2つのカテゴリー
(1)リンパ球などに外部→おくと4:多能性マーカー
   形成過程
(2)多能性の解析

■(2)STAP現象を前提としないと・・3つのカテゴリー
  ・ライブセルイメージング
    途中で何かするの困難
    おくとOct4‐GFP(多能性マーカー)連続的に
    死んでいない細胞からGFP確認
    蛍光細胞FAX

  ・特徴のある細胞
     小さな細胞:ESの半分程度、特殊
       核も小さい
     他の幹細胞と一致しないパターン
     STAPの増殖力低い

  ・胚盤胞移植:
     若山先生:STAP細胞の塊
     ES細胞をかわりに打ち込んだら?
     ESとTS細胞を打ち込んだら
       →固まらない
     ばらばらの細胞→キメラできない
→他の細胞と考えるとむずかしい
 1個人の操作では・・・
   ①小型細胞の細胞塊
   ②多能性の表現、他の細胞では考えにくい
 ①と②あわせる、合理的仮説

■(3)STAP再現のどこがむずかしいの?
 検証した上で、問題点を明らかにするのが筋だけど・・
 7日間に4ステップ
  【第一ステップ】
  ストレス処理後、最初の1~2日目後
   サバイバルステップ 
  【第二ステップ】
  2日から3日目
   大半死滅、自己防衛に成功 ct4-GFP
  【第三ステップ】
  3~5日
   集合していく
  【第四ステップ】
  5日ー7日
   さらに大きくなる。他の多能性マーカー
    →多能性の解析検証
 個人的手技に依存
   ストレスのかけ方
   生後3週以上:第二、第三でとまってしまう:部分的リプログラミング

-----
【質疑】
<<フジ>>
ノートを見せてもらったほうが良いのでは?

ノートのつけ方
  コンピューターに入れる人も
  データのデポジットじゃないよ
ノート、見た?

<<日テレ>>
STAP現象:
・体細胞→外部刺激→リプログラミング→多能性
  結論としては組み上げ細工のように成り上がるもの
    →そこにひびが入った
  いまは仮説

・ES細胞の混入?
  →せつめいできない

・初期の細胞を採ってきたのでは?
  →細胞のサイズが違う

<<NHK>>
・2011年のプロトール
  個人手技とかある?
・2011年のプロトコール改良
  →2014年バージョンある
・多能性マーカー:できている人がいる
・多能性解析過程:これから

NHK
・確度がたかい
・1個人では説明できない

<<やく1じかん・・・あとはあきたので省略>>



え、いま、なんといいました・・・?
私の聞き間違え出なければ・・・
「部分的なリプログラミング」っていいませんでした?
生後3週齢以降のマウスが第二、第三でとまってしまうのは・・・

・・・っていうと、何ですか?
リプログラミングの途中段階が分かるんでしょうか・・・部分的にできると・・・

そっちのほうが、すごくないですか??

「これらの4つの段階は、それぞれ何が制御因子なのかの詳細は未だ不明」
と上記の資料にありますが、もしわかったら、リプログラムの仕組みが分かる・・
とかいったら、そっちのほうが、すごくないっすか?
単に初期化細胞見つけるより・・・いろんなことに応用できそうですよね!




それと、素朴な疑問。
多能性マーカーは、できている人がいるって言ってましたよね。
小保方さんの疑惑は、多能性マーカーのところじゃないの?
あの緑色の写真(多能性マーカーの)が、博士論文と一緒って言ってるよねえ。。

・・・っていうことは、小保方さんのところは、
できている人がいるってことだよねえ・・・

やっぱり、STAP現象はあるんですよ・・・
これ、きっと、宝の山っすよ・・・初期化メカニズムがわかるかも・・・

もう、こりゃ、小保方さんの取り合いになりそうですね!

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

そのあと、モデル検査のPATを勉強してきた・・・はず?

2014-04-18 17:27:03 | トピックス
そのあと、「プロセス分析ツールPATで学ぶ並行プロセスのモデル検査(4/17)」でPATを習ってきた。その内容をメモメモ




基本操作
・編集する
・シミュレーションする
・検査する

PATのモデル
・オートマトン
・CSP:プロセス代数

PATを利用したモデル検査の流れ
・モデリング
   テキストエディタ
・シミュレーション
   ランダム
   合成プロセス
・検査画面
   満たすべき性質をassertで並べる

モデル編集
・テキストエディタ
・メッセージボックス
・メインメニュー

モデル編集・作成
Fileメニューから選ぶ
  CSPモデル
  RTS
→エディタが開く。保存時のファイル拡張子がモデル選択により違う
 Check Grammerを押すと、構文チェック
 (シミュレーションとかしたときも入る)
 エラーメッセージも

シミュレーション
・真ん中シミュレーショングラフ。
 動的に成長
・トレース出る
・プロセスの名前選べる
   →選んでしまうと、そのプロセスのシミュレーション
外部・内部選択
再帰:制御移動

並行動作
P||Q
同じ名前が出てきたら、同期する
インターリーブ
P|||Qまったく非同期

チャネル ch バッファの大きさ
channel ch 0; 0だと同期通信
! 送信
? 受信 ?変数:変数にいれる ?定数:その定数なら先に進む

モデル検査
流行(SPIN,SMV)
 →PATは後続
  プリズム、うっパール、すぴんと比較

CSPの枠組みの検査
  プロセス同士の関係の比較
    等価性、リファインメント
時相論理式を書く(LTL)
→PATは、両方    
  トレース詳細化、失敗詳細化、失敗発散詳細化

Verificationを選ぶ:1枚しか出ない
相互再帰

DP:哲学者の食事問題
@:しぐまみたいなの

可読化
状態遷移モデル(図・表)と式の対応
  →機械的な変換でPATで検査できる

時間制約
RTS:動作(ふるまい)をモデル化
非機能要件:時間→コードにはいってくること
  assertion タイマー
タイムドオートマトン
タイムドCSP→RTS
 ディレイなど使える。
e1->P2()は0~無限大にうごく
 デッドラインは、それを制限できる
 ->>は、すぐに遷移する

Train Gateというモデル(サンプルとして入っている)
うっぱーるをPATに移植

NesCモジュール:センサーネットワーク

うっぱーるの使い分け
 うっぱーる:安定していて、事例がある
 PAT:タイムドオートマトンテスト中




  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする

モデル検査のPATの話を聞いてきた!

2014-04-18 14:25:31 | トピックス
きのう、第73回先端ソフトウェア科学・工学に関するGRACEセミナー[4/17開催]に行って、モデル検査のPATの話を聞いてきた。

内容をメモメモ(英語できいたのを日本語で書いているので、間違いとかあるかもしれないし、おかしいところがあると思う。ごめん)



Event Analytics and verification : PAT Approach

Intel Pentium 1994 Bug
4195835 - 4195835 / 3145727 * 3145727 = 0
0でなく256を返す?
ルックアップテーブルのミス

Airbus A380 のソフト問題

Therac-25 放射線当てすぎ
Proton Therapyのマシンクラッシュ2014

これらのもんだいにたいして→形式仕様
1949 アランチューリング
 Checking Large Routine
1967 フロイド
1969 ホーア

モデルチェッキング
・2007年 ACMのチューリングしょう
・2009年 インテル i7のモデルチェッキング
・The Slam Project(まいくろそふとリサーチ)
→産業界のメインストリートへ

PATシステム
分散アルゴリズム、Webサービス・・・
モデリング:コンカレントモジュール
抽象化
Intermediate
分析

PATはホーアのCSPがもと

アクション a→P プロセス
VMU(ベンディングマシン)=coin→STOP
VMU(ベンディングマシン)=coin→Choc→STOP
  (choc:チョコレート:チョコがかえる自販機)

他のCSPのかきかた
・ P;Q
・P||X||Q
・外部選択:チョコか緑茶かコカコーラか→コントロール不可
 内部選択:どの緑茶をだすか→機械が選択する
・インタラプト:P1が起こっていたのにeが起こるとP2に変わる

パラレル コンポジション
(a→P)||a||(C→a→q)のとき、はじめにおこるのは?
  →C、でないとCが起こるまで待ってしまう

こんかれんしーの法則
 aはPに属し、Qに属さない
 bはPに属さず、Qに属す
 C,dはPも属し、Qに属す
としたとき、
c→P||d→Q デッドロックでとまる

リアルなはなし
・オバマとプーチン
オバマ:チェスボード→チェス[]テニスラケット→テニスする
プーチン:チェスのこま→テニスする[]ボール→テニスする 
このとき<チェスのこま、テニスラケット>  デッドロック

CSPはデッドロックを解決する

国連:チェスボード→チェスのこま[]テニスラケット→テニスボール

で、オバマ||プーチン||UNにする!

デッドロックを機械で探す

ケーススタディー:キーレスシステム(自動車)

PATでは、捨象してかんがえる(ショッピングモールはどうでもよく、遠くにいるでいい)

[コンデション]イベント→アクション

define
var
define 状態
assume なると困る状態

デモンストレーション

最近のワーク
・pervasive Model Checking
・Towards Event Analytics

数字を動かすパズルゲームへの応用

実験結果
・PATとNuSMVとSatPlanの時間比較

モデルチェキング
ぱっとの学生がCS4211で勝った
・PATは学ぶの簡単


プロバブリスティックモジュール
・ごめん、ナダルがすごいという話・・・よくわかんなかった。
  ナダルとフェドラ?どっちが勝つか、PATのモデルで
→確率が書ける!!(実際の結果から持ってきた)

MDP:マカオ ディシジョン プロセス??

・ナダルの実際の状況でシミュレーション
・エラーを少なくするという戦略に変えて、シミュレーション

このデータ(確率)をリアルタイムで自動的に取れたら?

リアルタイムモジュール
・日本人の行動と・・・(自主的に省略)のシミュレーション


リアルタイム&プロバビリティー
 リフト(エレベーター)
・C#でのインプリメント
・PATチェッキング:
    リフトのすべてが、同じ(1)


http://pat.comp.nus.edu.sg
3000を超える登録ユーザー
 マイクロソフト、HP,ソニー、日立

FM2014は、シンガポールで!

質疑は、ごめん、英語力より形式仕様の力がなくてわかんなかった。

  • X
  • Facebookでシェアする
  • はてなブックマークに追加する
  • LINEでシェアする