[Unix] split – テキストファイルを分割する

バカでかいテキストファイルを処理しやすいように分割したい。もちろん分割は改行位置で行わないと行が分断されてしまう。簡単なプログラムなので自分で書こうかと思ったけど、調べたらそういうコマンドがあったのでそれを使う。

testファイルを1000行ごとに切り出し,”out.”で始まるファイルに順次書き出す。

すると、アルファベットのシーケンスを拡張子とするファイルが生成される。

参考サイト

Linuxコマンド集 – 【 split 】 ファイルを分割する:ITpro
http://itpro.nikkeibp.co.jp/article/COLUMN/20060227/230888/

[C#] コンソールでキー入力を待つ

コンソールアプリで処理経過などをコンソール画面に表示していたりして、処理が終わってもコンソールを自動で閉じて欲しくない場合がある。そういう時は、処理終了時にキー入力待ちにすればいい。簡単なことだけど覚え書き。

参考サイト

[C#] コンソールをキー入力で一時停止 | Remember The Time
http://www.remember-the-time.xyz/2012/06/c.html

[OpenCV] 顔検出サンプル (C#版)

C++のサンプルをOpenCVSharp3を使ってC#に書き直してみた。

[OpenCV] OpenCvSharp3を使う

環境はVisual Studio 2015 Community。

1. C#のConsole Applicationを作成

2. Manager NuGet Packages…

3. nuget.orgを”opencvsharp3″で検索
0000

4. OpenCvSharp3-AnyCPUをインストール

5. サンプルコード

6. ビルドして実行opencvsharp3

参考サイト

GitHub – shimat/opencvsharp: .NET Framework wrapper for OpenCV
https://github.com/shimat/opencvsharp

OpenCvSharp Namespace
http://shimat.github.io/opencvsharp/html/1bb515b3-6278-49e4-9a33-1054bd279323.htm

schima.hatenablog.com (作者サイト)
http://schima.hatenablog.com/

[OpenCV] OpenCVのC#ラッパー

C#でコードを書きたいので、OpenCVのラッパーを探してみた。

NuGet Gallery | OpenCV.NET 3.3.0
https://www.nuget.org/packages/OpenCV.Net/

  • 最終更新から1年以上経過している (2015/2/26)
  • ダウンロード数がそれほど多くない (のべ 10,230)
  • OpenCV 2.4.10

NuGet Gallery | OpenCvSharp2 2.4.10.20160316
https://www.nuget.org/packages/OpenCvSharp-AnyCPU/

  • 更新頻度高い (2015年は6回アップデート)
  • ダウンロード数は多い (のべ 29,638)
  • OpenCV 3.1対応

OpenCV 3対応の後者がよさげ。試してみよう。

[Elasticsearch] KibanaでApacheアクセスログを可視化する

前のエントリでLogstashを使ってApacheアクセスログをElasticsearchに読み込んだ。次はKibanaをインストールして可視化したい。

Kibanaのインストール

Kibanaの実行

とりあえず動作確認のためにコマンド叩いて実行。

ブラウザからアクセス

http://192.168.33.10:5601/

kibana-settings

kibana-discover

参考サイト

Getting Kibana Up and Running
https://www.elastic.co/guide/en/kibana/4.1/setup.html

Kibana User Guide [4.1]
https://www.elastic.co/guide/en/kibana/4.1/index.html

NginxのアクセスログをKibanaで可視化 – Carpe Diem
http://christina04.hatenablog.com/entry/2016/01/13/194304

[Elasticsearch] LogstashでApacheアクセスログをバッチで読み込む

Logstashはログ管理ツール。以下の機能を備えており、プラグイン形式で機能を拡張できるのが特徴。

  • input ログを記録するイベントを監視する
  • filter イベントに対しフィルタ処理を行う
  • codec inputから受け取ったイベントを指定した形式に整形する
  • output ログの出力を行う

Logstashのインストール

Logstashのテスト

アクセスログの読み込みテスト

Elasticsearchとの接続

es-apache-import

参考サイト

15分で作る、Logstash+Elasticsearchによるログ収集・解析環境 – さくらのナレッジ
http://knowledge.sakura.ad.jp/tech/2736/

Package Repositories
https://www.elastic.co/guide/en/logstash/current/package-repositories.html#_yum

Stashing Your First Event: Basic Logstash Example
https://www.elastic.co/guide/en/logstash/current/first-event.html

Reference [2.2]
https://www.elastic.co/guide/en/logstash/current/index.html

[ホスティング] ログローテートの設定

ログファイル更新のタイミング

何世代のログを残すか

ログファイルに日付を付加するか

圧縮するか (gzip)

ファイルごと(httpdやsyslogなど)の個別設定の所在

logrotate自体はデーモンでなくcronで実行されるので、設定変更後のデーモンの再起動などは不要。

参考サイト

@IT:syslogの保存期間を変更するには
http://www.atmarkit.co.jp/flinux/rensai/linuxtips/409cngsyslogtime.html

[Webサービス] オンラインフォームいろいろ

スタティックなサイトにフィードバックフォームを設置したいようなとき、自力で作るよりオンラインフォームのサービスを使ったほうが得策だろうと思う機会が少なくない。フレームワークベースのWebアプリなサイトだったら、フォームの制御やバリデーション、メール通知などのインフラが予めあるから、フォームの1つぐらい作るのは容易いけど、スタティックなサイトだとフォーム1つ設置するだけでインフラが肥大化する。あるものは使おう。

というわけで、使えそうなサービスをググってみたので覚え書きリンク。

オンラインフォーム

Wufoo
http://www.wufoo.com/

EmailMeForm
http://www.emailmeform.com/

Cognito Forms
https://www.cognitoforms.com/

JotForm
https://www.jotform.com/

アンケートフォーム

SurveyMonkey
https://www.surveymonkey.com/

SurveyGizmo
https://www.surveygizmo.com/