ウィリアムのいたずらの開発日記

ウィリアムのいたずらが、コンピューター関係について、思ったことを好き勝手に書いているブログです。

東証システム障害の深層

2018-11-04 16:16:22 | ネットワーク
だって・・・興味しんしん。後で読むためURLをメモ

動かないコンピュータ
東証システム障害の深層、証券会社の明暗分けた縮退運用
https://tech.nikkeibp.co.jp/atcl/nxt/mag/nc/18/020600011/103100019/

自然言語処理に入門してきた!

2018-11-03 09:17:56 | Weblog
10月28日、オープンソースカンファレンス2018 Tokyo/Fall

【入門】自然言語処理の入門と活用

を聞いてきたので、メモメモ

ただし、今回は、日曜日でも学食がやっていて、おすすめランチ食べてたので、はじめのほう、おくれて聞けてない




(「はじめに」の途中から)
・こんにゃくは太りません

・アジェンダ
・自己紹介

・自然言語処理ってなに
 人間の言葉をコンピューターで自動的に処理させる技術
  自然言語:私たちが使う言葉、解釈が様々、あいまい
  人工言語:プログラミング言語など、解釈が1とおりにきまる

 →黒い瞳の大きな女の子

 実は結構身近に存在する

・自然言語処理事例
 検索:シソーラスの利用により、あいまいな単語でも検索可能
  シソーラス:単語を、上位/回関係、部分/全体
  ・関連後に対応
  ・表記ゆれに対応
  ・タイポの訂正

・メールフィルタ
 ベイジアンフィルタでメールの怪しさを評価

・チャットボット
 ユーザーの発言からインテントとエンティティを抽出

・ほかにも
  翻訳
  レコメンド
  文書分類
などなど応用先多数

・自然言語ってどうやるの
・要素技術の紹介
 形態素解析
 構文解析
 意味解析
 文脈解析:照合解析を紹介

・形態素解析:単語の切れ目のない言語で必要
 文を最小の意味を持つ単語単位までに分解し、それらの単位の性質を明らかにする処理

・構文解析
 2こ
  係り受け解析:→日本語向き
  句構造解析:単語の並びに依存→日本語には向かない

・意味解析
 2こ
  述語項構造解析:述語から見たときの守護・目的語を秋r多寡にする
  意味役割解析:述語から見たときの各項の意味役割を明らかにする

・文脈解析
 2個
 照応解析:指示語
  太郎は花子と講演で遊んだ
  彼はそこで彼女と縄跳びをした
 談話構造解析:文間の役割関係を明らかにする 

・自然言語処理を使ってみる
 マジカルバナナ
  言葉を返す
  構文情報からペアをルールで抽出する
 連想ペアネットワーク
 変な回答をすることがあるので、単語間の類似度で足切りする

・COTOHA APIの紹介
 構文解析
 固有表現抽出
 照応省略解析
 キーワード抽出
 文タイプ判定
 ユーザー属性推定
 類似度算出

・クロージング




Zabbix4.0なら、サーバーだけでなく、IoTの監視もできてしまう話を聞いてきた

2018-11-02 09:13:42 | ネットワーク
10月28日、オープンソースカンファレンス2018 Tokyo/Fall

Zabbix4.0のご紹介

を聞いてきたのでメモ、ただし

・はじめ5分くらい遅れた。行ったら、Zabbix(全般)の紹介してた
・書ききれてないところある。資料は後から公開するとのこと
・表題の件は、終わりのほう「おすすめ機能:Webサービスの呼び出し」




(遅れてついたところから)

・Zabbix3.0以降に追加された機能

・3.2で追加
 トリガーの主導クローズ
 ヒステリシストリガーの改善:条件式と復旧条件式が書ける
 イベントタグの設定
 イベント相関関係の設定
 LLDで生成したアイテムの詳細確認
 Webシナリオのエクスポートとインポート
 イベント画面から障害画面
 ホストグループの階層化
 ログバースト対応

・3.4で追加
 Webインターフェースの改善
 依存アイテムとアイテムの保存前処理:加工して保存
 アイテムと値・・
  :
 (書ききれんかった)

・4.0で追加
 監視データ取得ぼたbb
 新しいHTTPアイテム追加:HTTPエージェント(リクエスト投げて結果を受け取る)
 時間範囲指定の簡略化
 SVGグラフウィジェットの追加
 単位変換の柔軟化
 サーバーとプロキシ間をよりセキュアに
 サーバーとプロキシ間の通信を圧縮
 翻訳の変更について:寺島さんの翻訳を継承してきたが、ユーザーさんの意見を踏まえ(英語は変わってない)
    :
 (1枚目書ききれんかった)
    :
 タグベースの権限設定
 タグによるメンテナンス設定の拡張
 障害の深刻度が変更可能
 エージェント自動登録機能改善
 ポップアップウィンドウオーバーレイに
 閲覧(キオスク)モードの追加:前にフルスクリーンモードがあった。さらに・・/最初からキオスクにできる
 障害画面にコンパクト表示モード
 自動登録の柔軟性追加
 DNS名の長さ拡張
 MySQL8.0サポート
 スクリーンリーダー対応

・実現できること
 おすすめ機能:ボタンクリックで値取得
   アイテムだけでなく、ディスカバリにも
 おすすめ機能:Webサービスの呼び出し
   気温や気圧の値を保存前処理を使用してをJSON形式応答から取ってこれる
 おすすめ機能:新しいグラフウィジェット
 おすすめ機能:タグを利用した一部トリガーのみのメンテナンス
 地味だけど便利:単位変換の抑制

・まとめ
 4.0による改善
  設定作業軽減
  自動化を活用した監視の設定が柔軟に
  Webサービスを利用する場合、JSONやXMLから値を取り出せる
 今後
  Zabbix4.2など今後のロードマップが公開されている
  スケーラビリティ、冗長化、分散監視の改善
  Prometheus(ぷろめてうす)エージェントの対応というキーワードもあり




PostgreSQL11新機能を聞いてきた

2018-11-01 09:11:12 | Weblog
10月27日、オープンソースカンファレンス2018 Tokyo/Fall

PostgreSQL11新機能解説

を聞いてきたので、メモメモ





・もともと
【リリースまじか!】PostgreSQL11新機能解説
  →りりーすされたので

・PostgreSQLとは
 歴史 INGRES(’70)、POSTGRES('80)から
 特定オーナー企業がない

・現在の実力
  SQL機能
  ANSI SQL:2011
  POSTGIS:地理情報
  他DB連携
 性能的には、スケールする
  9.6からパラレルクエリ
 クラスタ
  インスタンス単位。10からテーブル単位
  HA,BDR、MPP→RACはまだ
 運用支援
  PgAdmin4→がらっとかわった
  SI Object Browser

・11のポイント
  JITコンパイル
  ストアド
  パーティショニング
  パラレルクエリの拡充
  SCRAM認証
  その他:ウィンドウ関数の対応構文追加など


・JITコンパイル
 SQL実行にJITコンパイル
 LLVM利用
 繰り返し処理の回数が多い時有効
 プランなコストでJIT利用判断

・ストアドプロシージャ
 OracleのPL/SQL移植が楽。
 プロシージャでCOMMIT/RollBackが利用可能
 いろいろ制限ある

・パーティショニング機能の拡充
 パーティションテーブル全体にインデックスを作成できる
 条件あり:
 パーティションテーブル全体に主キー制約が作れる
 パ^てぃしょんテーブル全体に外部キー設定できる
 ハッシュパーティショニング
 パーティション除外処理の改善
 問い合わせでのおアーティしょん指向の結合・集約

・パラレル処理の拡充
 いままでも入っているが、それが拡充
  並列ハッシュ結合、並列Append

・SCRAMチャネルバインド
 SSL接続の拡充
 SCRAM認証がチャネルバインドに対応:人にとられないようにした

・その他:
 ウィンドウ関数の対応構文追加:GROUPS、RANGE,EXCLUDE
 ALTER TABLE ・・・ ADD COLUMN改善:デフォルト値を伴ったADD COLUMNが高速化
 CREATE INDEXがINCLUDE句に対応:index-only scan
 initdb時にwalファイルサイズ設定
 ロジカルレプリケーションでTRUNCATE対応
 ビューに対するテーブルロック
 各種psql,pgbenchの機能改善
 各種のロック軽減とオプティマイザ改良

・まとめ

お仕事におけるUbuntuとの付き合い方を聞いてきた

2018-10-31 09:07:44 | ネットワーク
10月27日、オープンソースカンファレンス2018 Tokyo/Fall
お仕事におけるUbuntuとの付き合い方
(OSCのスケジュールに書いてある表題とは違い、こっちに変更)
を聞いてきたので、メモメモ




・本日の資料
 https://wiki.ubuntu.com/MitsuyaShibata/Slides
 発表資料は CC BY-SA4.0

・Ubuntuの紹介
 とばす Debianベース、4月10月リリース
 18.04.1ではuniverseが無効かされた?→バグ、手動で
 UIテーマ YaruとアイコンセットSuru

・お仕事でUbuntuを使う理由
 趣味で使うなというリチャードストールマンのような人はいないと思うので・・
 お仕事
  ベンチャーからサポート
  上司から適当なLinux環境といわれて

・そもそもUbuntu選ばれてる?
 Googleトレンド:へってるけど、それなりに検索はされているらしい
 日本では大差ない:Unityデフォルトになってから減った
 W3Techs
 OpnStack半数以上がUbuntu上で構築(70%→50%:RedHatが頑張ってるので)
 EC2のベースイメージ1位:AmazonLinuxが追いつきつつあるが

・サーバー用途ではデファクトスタンダードな立ち位置
 クラウド、コンテナのベースイメージ、
 AI/MLのプラットフォーム
 メインフレームもUbuntuが動く時代に

・デスクトップは?
 Dell プロジェクト・スプートニク
 Ubuntuの利用統計
  クリーンインストール8割
  物理半数、

・Ubuntuの利点
 インストールの簡単さ→とりあえずUbuntu(現在はどのでゅすとりも簡単に)
 独自パッケージ配布サービスとしてのPPA
 リリース頻度の多さ:半年ごとのリリース→アップグレードプランが立てやすい
 Ubuntu版は商用版が存在しない サポートをカノニカルから買う
 ググれば解決策出てくる:重要

・コンテナベースイメージとしてのUbuntu
 サイズの問題

・そもそもUbuntuでなければいけないのか?
 好きなもの使え。ほかのLinuxでもできる。必要性はほぼない
 重要なのはUbuntuも選択肢にのこること

・問題点
 日本ではCentOSのほうが強い
  周りに合わせる
 開発においてカノニカルの主導権が強い
 NIH症候群(NotInvented Here 自分たちで作ったものではない)
 Mirはまだ生きている

・どのUbuntuを使うのか
 デスクトップかサーバーか
 パッケージ構成が違うだけ(リポジトリ共通)
  メタパッケージにubuntu-desktop,ubuntu-serverを選ぶか
  GUIが欲しいかどうか

 デスクトップ:フレーバー
  lxQt,Xubuntu

 日本語ReMix日本語環境向けカスタマイズ
   そのまま使っても問題ない

 32bit版:そろそろ終了 18.10へはアップデートできない
   16.04,18.04を使い続けるべき
   ほしいと思う人はそれなりにいる模様
 どのリリース?
   LTSを使う
 ポイントリリースについて
   追加リリース 16.04は5回出している

・どうやってUbuntuを用意するのか
 Windowsとのデュアルブートは危険
 仮想マシンにインストール
 仮想マシン用のインストール用意されている
 クラウド cloud-init

・今gて何デプロイ
 Windows Subsystem for Linux
 Hyper-V ギャラリー
 Docker for Windowxx

・インストールしたそのあとは
 rootはロックされている。sudo
 sudo -i
 アンチウィルス clamav(くらむえーぶい)
 公式リポジトリ:鉄板だけど古くなる
 sbap node.jsとかはいい

・バックアップ
 ストレージは消耗品

・製品を作る
 商標の問題→カノニカルにきいて

・おふみしてる