パッケージング入門

はて、前々からやりたいと思っていた、rec10およびlibre10のパッケージングにチャレンジしてみることとします。これまではmake&make installで依存関係から何からcpanとか使って入れるようになっていましたが、

cpanやpipだとバージョン管理が出来ない、アンインストールがやりずらい等の問題があったためこの機会にrpmやdebファイルを作ってみようと言うことです。

とりあえずこの記事はじわじわ更新していく予定なのでやる予定のことをリスト化していきます。

TO DO

<rec10のパッケージング化>

  1. 録画フォルダの標準パスをどこにするか、インストールパスをどこにするか
  2. 依存関係をどのようにするか、rpmの作り方
  3. debの作り方
  4. rectool(rec10-web)のインストール先をどうするか
  5. b25のインストールをどうするか
  6. MySQL,録画ユーザーをどうするか
  7. rec10デーモン化

<libre10のパッケージング化>

  1. インストールパス、データパス、tomcat?へのインストール、solrのインストール

以上、ぱっと思いつく限りでも問題は山積ですがぼちぼちやっていきたいと思います。

x264とL-Smash

皆様新年あけましておめでとうございます。

新年の番組を録画、エンコードしがてら久しぶりにx264を最新版にするかと思い公式を見に行ったところ

ここしばらく(2013/10/30以来)更新が止まっていました。

公式はこちらhttp://www.videolan.org/developers/x264.html

gitはこちらhttp://git.videolan.org/?p=x264.git;a=summary

x265の開発もされているようだし、そんなものかななど考えつつ変更点を見ていると

>Add L-SMASH support as preferable alternative for MP4-muxing

http://git.videolan.org/?p=x264.git;a=commit;h=7664b45570e4262c4d22bb89f4d395edcb4a639e

キタ――(゚∀゚)――!!

ついにx264がl-smashをサポートしたようです!!

日本語処理が怪しいからという理由で、泣く泣くファイル名を一度英数字に変換してから無理矢理処理しているgpac(MP4Box)を使わなくとも

mp4のmuxが出来るかもしれません!!

と思って早速インストール

公式はこちらのようです


$ git clone https://code.google.com/p/l-smash/

$ cd l-smash

$ ./configure

$ make

$ sudo make install

これでインストールできます。

この後にx264の最新版をダウンロードして


$ git clone git://git.videolan.org/x264.git

$ cd x264

$ ./congure

$ make

で最新版のl-smashビルド込みのx264が作れます

これでこれまで

mpeg2-ts→(mencoder)→yuv4mpeg→(fifo)→x264→raw

raw→(MP4Box)→mp4

としていたのがmp4まで一連の流れでいけるようになります。

あとは音ズレがしないかどうか、音声のインポートがうまくいくかですね。

UHS-I対応SD購入

本ブログで以前白芝のベンチマークを取ったことがありました。

あの際結構な枚数のSDカードを購入したので、その後しばらくSDカード購入はしていませんでしたが、

電子シャッター対応のNikonV1を買ったこともあり、新たに購入してみました。

ネットで調べていると、昔の白芝のようにこれを買っておけば間違いないといったものは存在しないようです。

内部のチップもSLCはほぼ姿を消し、MLC/TLCの時代になっているようで、まさに隔世の感がありますね。

さて、今回買ったのはSanDisk Extreme Pro SDHCカード UHS-I Class10 32GB です。

UHS-I、Class10対応の読み込み書き込みともに90MB/sec対応をうたうSanDiskの高級モデルです。

2013-12-30 15.09.48.jpg 2013-12-30 15.09.56.jpg

僕が買ったのは国内正規版ではないので、英語での説明になります。

さて、気になるベンチマークです。

いつものCrystal Disk Markを使用します。

【Amazon.co.jp限定】SanDisk Extreme Pro SDHCカード UHS-I Class10 32GB (無期限保証)[国内正規品] SDSDXPA-032G-JAZSanDisk_ExtremePro_32GB.png

 このような結果となりました。

Seqのwriteが少し90MBpsに足りませんが、誤差の範囲内でしょう。

比較のために白芝の結果を乗せておきます。

東芝 SDHCカード 16GB 日本製 クラス10 TOSHIBA Class10 海外向けパッケージ品 並行輸入品WA-16GB.JPG

 当然と言われればそれまでなのですが、SanDisk Extreme Proの方が段違いに速度が速いです。

自分自身、白芝を持っているからまぁ良いだろうと思っていた面もあったのですが、ここまで速度の差があると買い換えるのもありかもしれませんね。

Nikon V1もNikon D7000もUHS-Iに対応しているのでRAW連写などでその真価を発揮してくれそうです。

緑芝も買ったのですが、そのベンチは次回紹介します。

Nikon D7000+AF-S DX NIKKOR 16-85mm 作例集

Nikon デジタル一眼レフカメラ D7000 ボディー D7000Nikon D7000  +

Nikon 超広角ズームレンズ AF-S DX NIKKOR 16-85mm f/3.5-5.6G ED VR ニコンDXフォーマット専用AF-S DX NIKKOR 16-85mm f/3.5-5.6G ED VR

個人的に一番気に入っている組み合わせです。

いまはD7000も非常に安くなっているようで、レンズは結構値が張りますが

最後に頼るのはやっぱりこの組み合わせですね。

ReadyNAS 316 -ベンチマーク編-

さて、ReadyNAS316を購入してしばらく使ってみたわけですが

ふと思い立ち、ベンチマークを取ってみました。

今回は以前から使っている、ReadyNAS Ultra4とのベンチマークです。

さて、重要なHDDのスペックは以下の通りです

ReadyNAS 316 (2TB*6 RAID6)
  1. Hitachi HDS722020ALA330 2TB 2009-
  2. WDC WD20EARS-00MVWB0 2TB 2012-(RMA済み)
  3. WDC WD20EFRX-68EUZN0 2TB 2013/11/15-
  4. WDC WD20EFRX-68EUZN0 2TB 2013/10/13-
  5. WDC WD20EFRX-68EUZN0 2TB 2013/10/13-
  6. WDC WD20EFRX-68AX9N0 2TB 2013/10/13-
ReadyNAS Ultra4 (3TB*4 RAID5)
  1. WDC WD30EZRX-00MMMB0
  2. Seagate ST3000DM001-9YN166
  3. Seagate ST3000DM001-9YN166
  4. WDC WD30EZRX-00DC0B0

特段どちらかに低速なHDDが偏っているわけではありません。

強いて言うならReadyNAS 316の1が古いといったところでしょうか。

ベンチマークはhdparm -t デバイス名で行い、

各HDDに対しては1回、RAIDディスクに対しては3回行いました。

さて、結果ですが
先ず各々のHDDの結果
読み込み-デバイス毎.jpg

全体的にReadyNAS Ultra4に載っているHDDの方が高速となっています。

特にsdcの

Seagate 3.5inch 3.0TB ST3000DM001/N が高速です。とはいえ試行回数が1回なのではっきりとはわかりません。
次に全体のベンチマークです
読み込み-total.jpg

ReadyNAS316はRAID6でハンデがあるにもかかわらず、ReadyNAS Ultra4に比べ50MB/secほどの大差を付けて高速になっています。

やはりCPU,メモリの効果が生きているんでしょうか

ReadyNAS+SoftEther

ReadyNASのアプリに、VPN Serverと言う名のSoftEther Serverがあります。

これまではOpenVPNを使ってきましたが、今回ReadyNAS Ultra4とReadyNAS 316の相互バックアップの経路としてSSLの暗号化を掛けたかったので

最初から用意されているSoftEtherにチャレンジしてみました。

ネットワークの構成は

NETWORK1 192.168.A.0/255.255.255.0

Router 1——-ReadyNAS 316(eth 0+eth 1)

NETWORK2 192.168.B.0/255.255.255.0

Router 2——-ReadyNAS Ultra4

このような状態でUltra4から316にSoftEtherのVPNを引いて、rsyncを使って定期バックアップをすることとしました。

今回VPN Serverは316なのでServer側でSoftEther Serverの設定をします。

Server管理ツールという便利な物があるので、これを使わせてもらいます。

細かな設定は割愛しますが、設定はOpenVPNに比べても楽だと感じました。

さて、316とUltra4を繋ぐネットワークはできましたが、

Ultra4からNETWORK1のパソコンやそもそも316が見えません。

Ultra4からRouter1配下の他のパソコンが見えないのはわかりますが(316から先へのブリッジが要ります)

316が見えないのはちょっと謎です

まぁさておき、おとなしく本家のおすすめの通り、ローカルブリッジを作ります。

eth1を割り当てましたが、注意することがあります。

eth1とVPNをブリッジする際には、eth1のプロトコルスタックを無効化して下さい。

これはReadyNAS管理画面からはできません

SSHをオンにして


#ifconfig eth1 0.0.0.0

#

でうまくいくようになります。

これをやるとやらないとでは安定性が全く違うので注意して下さい

(通信できなくなることがありました)

ReadyNAS316セットアップ-HDD故障編-

先日お伝えしたReadyNAS 316の初期化ですが、

やはり300時間かかるのはおかしい(というか、待ちきれない)

ということでsshをonにして調べてみました。

cat /proc/mdstat

してみるとこんな感じの画面が出ます

Personalities : [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md127 : active raid6 sdf3[5] sde3[4] sdd3[3] sdc3[2](F) sdb3[1] sda3[0]
7794658816 blocks super 1.2 level 6, 64k chunk, algorithm 2 [6/5] [UU_UUU]
[=========>...........]  resync = 45.5% (887314168/1948664704) finish=1568.6min speed=11276K/secmd1 : active raid6 sda2[0] sdf2[5] sde2[4] sdd2[3] sdc2[2](F) sdb2[1]
2095872 blocks super 1.2 level 6, 64k chunk, algorithm 2 [6/5] [UU_UUU]md0 : active raid1 sda1[0] sdf1[5] sde1[4] sdd1[3] sdc1[2](F) sdb1[1]
4192192 blocks super 1.2 [6/5] [UU_UUU]

unused devices: <none>

これは対処した後なのでsdc*にF(Fails)マークがついていますがこの時はまだついておらず、

残り時間が300時間ほどでした。

hdparm -t /dev/sdc

などでアクセス速度を調べてみると、sda,sdb,sdd-fは120-130M(Bytes/sec)程度の速度が出るのですが

sdcだけは1MBytes/secも出ていません。

決定的なのはsmartのshort testの結果が返ってきません・・・

やっぱり壊れてたOrz

物理的に引っこ抜けば一番なのですが、このReadyNas、遠隔地にあるため触れません。

そこでmdadmから無効化してみましょう。

まずdfでどのパーティションがどのRAIDドライブを使っているのかを確認します。


df

Filesystem 1K-blocks Used Available Use% Mounted on
rootfs 4192192 980496 2554408 28% /
tmpfs 10240 4 10236 1% /dev
/dev/md0 4192192 980496 2554408 28% /
tmpfs 1019596 0 1019596 0% /dev/shm
tmpfs 1019596 6008 1013588 1% /run
tmpfs 1019596 0 1019596 0% /sys/fs/cgroup
tmpfs 1019596 0 1019596 0% /media
/dev/md127 7794658816 618694208 7173491384 8% /c
/dev/md127 7794658816 618694208 7173491384 8% /home
/dev/md127 7794658816 618694208 7173491384 8% /apps
/dev/md127 7794658816 618694208 7173491384 8% /var/ftp/backups

md127が最大容量のディスクとして使われていますね。

</pre>
cat /proc/mdstat
<div>Personalities : [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
 <span style="color: #ff0000;">md127</span> : active raid6 sdf3[5] sde3[4] sdd3[3] <span style="color: #ff0000;">sdc3</span>[2](F) sdb3[1] sda3[0]
 7794658816 blocks super 1.2 level 6, 64k chunk, algorithm 2 [6/5] [UU_UUU]
 [=========>...........]  resync = 45.5% (887314168/1948664704) finish=1568.6min speed=11276K/sec<span style="color: #ff0000;">md1</span> : active raid6 sda2[0] sdf2[5] sde2[4] sdd2[3] <span style="color: #ff0000;">sdc2</span>[2](F) sdb2[1]
 2095872 blocks super 1.2 level 6, 64k chunk, algorithm 2 [6/5] [UU_UUU]<span style="color: #ff0000;">md0</span> : active raid1 sda1[0] sdf1[5] sde1[4] sdd1[3] <span style="color: #ff0000;">sdc1</span>[2](F) sdb1[1]
 4192192 blocks super 1.2 [6/5] [UU_UUU]</div>
unused devices: <none>
<pre>

md127にsdc3、md1にsdc2、md0にsdc1が使われていました。

そこでmdadmコマンドで故障扱いにします。

</pre>
# mdadm --manage /dev/md0 --fail /dev/sdc1

mdadm: set /dev/sdc1 faulty in /dev/md0

# mdadm --manage /dev/md1 --fail /dev/sdc2

mdadm: set /dev/sdc2 faulty in /dev/md1

# mdadm --manage /dev/md127 --fail /dev/sdc3

mdadm: set /dev/sdc3 faulty in /dev/md127
<pre>

これでRAIDからsdcが取り除かれました。

</pre>
cat /proc/mdstat
<div>Personalities : [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
 md127 : active raid6 sdf3[5] sde3[4] sdd3[3] <span style="color: #ff0000;">sdc3[2](F)</span> sdb3[1] sda3[0]
 7794658816 blocks super 1.2 level 6, 64k chunk, algorithm 2 [6/5] [UU_UUU]
 [=========>...........]  resync = 45.5% (887314168/1948664704) finish=1568.6min speed=11276K/secmd1 : active raid6 sda2[0] sdf2[5] sde2[4] sdd2[3] <span style="color: #ff0000;">sdc2[2](F)</span> sdb2[1]
 2095872 blocks super 1.2 level 6, 64k chunk, algorithm 2 [6/5] [UU_UUU]md0 : active raid1 sda1[0] sdf1[5] sde1[4] sdd1[3] <span style="color: #ff0000;">sdc1[2](F)</span> sdb1[1]
 4192192 blocks super 1.2 [6/5] [UU_UUU]</div>
unused devices: <none>
<pre>

先ほどから出している画面です。

sdc*にF(Fails)マークがついているのがわかりますね。

この結果、初期化時間は30時間ほどまで短縮されました!

ReadyNAS316購入

先日、思い切ってReadyNAS 316を購入しました。

現在ReadyNAS Ultra4 を持っているのですが、HDD4ベイのRAID-5では信頼性の面で不安になってきたため6ベイの316を追加することに。

Ult4と316の違いはこちらです

  • CPU  Atom 1.66GHz(single core)→Atom 2.1GHz(dual core)
  • Mem  1GB→2GB
  • USB  2.0対応→3.0対応

Dualコア化メモリ増量が個人的には特に嬉しいところです!!

同レベルのNASマシンとしてはQNAP TurboNAS TS-669Proがありますが、

QNAPが10万円ほどなのに対して、ReadyNASが7万円と大分お安いです。

とはいえ、ソフトの作り込みやアドオンの数ではQNAPが明らかに優位にあるので、ここまではちょっとという場合には

QNAPを使うのも手かもしれません。

ですが、今回は2TBx6台を使ってRAID-6を組み、同時に二台のHDDが壊れても中身は保全される状況を作りたいのでHDDベイ6台は譲れません。

そんなわけで316購入となったわけです。早速HDDを6台用意しました。

DSC_2179.JPG
NAS向けHDDのWD Redを6台と行きたいところだったんですが、金銭的にままならず・・・(涙

以前録画鯖のHDDとして使っていたHDDを三台と新調したWD Red三台で行こうと思います。

特に2台は動作時間が3万時間(3年ぐらい)を超えた強者です・・・(゚A゚;)ゴクリ

RAID-6を組むと予備容量としてHDD二台分(X-RAIDで考えると最大容量のHDD2台分)が減るので、2TBx6の今回は2TBx4の8TBからReadyNAS OSが取っていく500GBを減らした、7.5TBほどが使用できる容量になります。

ほんと、十分すぎる容量です。

さて、HDDを入れたは良いのですが初期化が終わりません><;あと300時間・・・
HDD詳細:

1:Hitachi HDS722020ALA330 2TB 2009-
2:WDC WD20EARS-00MVWB0 2TB 2012-(RMA済み)
3:WDC WD20EADS-00R6B0 2TB 2009-
4:WDC WD20EFRX-68EUZN0 2TB 2013-
5:WDC WD20EFRX-68EUZN0 2TB 2013-
6:WDC WD20EFRX-68AX9N0 2TB 2013-

Nik Software Collection購入

先日ふらふらとネットの海を漂っていると、

ふと前から気になっていたソフトが安くなっているのに気づきました。

Nik collectionです。

以前は8万円とかで売っていた物ですが、Googleに買収され今や150ドルで売っています!!

http://www.niksoftware.com/nikcollection/ja/intro.html

早速体験版をダウンロードして使ってみました。

Nik collectionにはHDRが作れるHDR Efex Pro 2、カラーフィルタが多数含まれる Color Efex Pro 4、その他白黒写真を作るフィルターや

ノイズフィルター、シャープフィルターが入っています。

以前は各ソフトが1万円以上した、雲の上の存在でした・・・

さて、早速使ってみました。

題材はこちら
_DSC0458.jpg

 

 

 

 

 

 

 

 

 

 

 

Nikon D7000で撮影した物です。

さて、これにまずDFine2というノイズ除去ソフトをかけて

_DSC0458-Edit-3.jpg

 

 

 

 

 

 

 

 

 

 

 

こうなりました

たぶん等倍とかじゃ無いとわかりませんかね・・・
次にColor Efex2 のフィルターを掛けて

_DSC0458-Edit-3-Edit.jpg

 

 

 

 

 

 

 

 

 

 

 

そして最後にsharp filterを掛けてみます。

_DSC0458-Edit-3-Edit-Edit.jpg

 

 

 

 

 

 

 

 

 

 

 

これらの写真はフィルターをただ、デフォルトのまま掛けただけです。

大量に撮った写真を手軽に修正するには十分すぎる実力がありそうです。

NikonV1と共にポルトガルへ

先日、所用でポルトガルに行くことになったため、カメラをどうしようか悩んでいたところ

Amazon NikonV1祭り、J1祭りをちょうどやっていて、いいなぁと思いつつネットをあさっていると

見つけました!!

NikonV1+2本のレンズ(セットレンズ以上のやつ)+スピードライト(フラッシュのことです)のセットです!!

Nikon ミラーレス一眼 Nikon 1 (ニコンワン) V1 スピードライトセットA ブラック

以前、Nikon J1 LK(レンズキット)をつかっていて、あんまりだなと思っていた私ですが、

10-30より一段上の解像度を誇るといわれる11-27mmのレンズ!!

広角10mmの単焦点レンズ、スピードライトに加えて、電子ではある物のファインダーを持ったV1がセットになって4万5000円程度・・・

もうすぐにぽちってしまいました(マジですww)

これまでの旅行のお供カメラはこんな感じです。

2010年 Nikon S6000をお供にスペインへいくものの、あまりの景色の綺麗さと撮れた写真の差に愕然とし、一眼レフで行かなかった事を後悔しました(Nikon D60をこの頃持ってました)

DSCN0641

DSCN1328

↑スペインの写真(Nikon S6000)

DSC_0269

↑某所の写真 Nikon D60

その後しばらくD60を旅行に持って行きましたが、やはり重たさには勝てず、Nikon P300を購入しました。

DSCN1721.jpg

アメリカにて Nikon P300

P300は綺麗なのですが、何かがもの足りずNikonD7000を買ったこともあって、2012年にアメリカ、イタリア、ギリシャに行った際にはP300+D7000+カーボン三脚というフル装備で行きました。

DSC_6362.jpg

DSC_2178

DSC_0940.jpg

D7000の写真 嵐山、ギリシャ、アメリカ

写真には満足でしたが、実際の移動が大変で・・・友人がマイクロ一眼と軽量三脚出来ているのを見て羨んだりしてました。

その後Nikon J1を買って、一件落着と思いきや広角域が足りないこと、なんとなく絵の綺麗さがたりない(腕がないのを機材のせいに・・・笑)ため、Nikon J1は友人に売却

そして今回の旅行です。

正直、11-27mmのレンズをネットで見ていて、これと6.7-13mmが有れば今のD7000+16-85+10-24の代替になるのではと思っていたところに今回のセールです。

6.7-13は時間/予算の都合で変えませんでしたが、実際に持って行ってみると

十分綺麗!(横幅2000pxぐらいまでの表示なら十分!)、軽い!、もし取られても懐が(それほど)痛まないとかなり便利でした。

DSC_0683.jpgNikon V1 11-27の写真 ポルトガル