dump restore over ssh

dump

dump -0uanLC 32 -f - / | gzip -2 | ssh -c blowfish targetuser@targetmachine.example.com dd of=/mybigfiles/root-dump.gz
dump -0uanLC 32 -f - /usr | gzip -2 | ssh -c blowfish targetuser@targetmachine.example.com dd of=/mybigfiles/usr-dump.gz
dump -0uanLC 32 -f - /var | gzip -2 | ssh -c blowfish targetuser@targetmachine.example.com dd of=/mybigfiles/var-dump.gz

restore

boot from live CD
select configure -> Fdisk -> ...
select configure -> Label -> ...
select Fixit -> ...

cd /mnt
ssh targetuser@targetmachine.example.com gzip -dc /mybigfiles/root-dump.gz | restore -rf -
(or restore -rf /usbhdd/root-dump )

cd /mnt/usr
ssh targetuser@targetmachine.example.com gzip -dc /mybigfiles/usr-dump.gz | restore -rf -
cd /mnt/var
ssh targetuser@targetmachine.example.com gzip -dc /mybigfiles/var-dump.gz | restore -rf -

dump from gentoo am64

dump -0uanLC -f - / | gzip -2 | ssh -c blowfish targetuser@targetmachine.example.com dd of=/home/bkupuser/root-dump.gz
dump -0uanLC -f - /boot | gzip -2 | ssh -c blowfish targetuser@targetmachine.example.com dd of=/home/bkupuser/boot-dump.gz

dump local linux

dump -0f - /boot | gzip -c > /home/bkupuser/boot-dump.gz
dump -0f - / | gzip -c > /home/bkupuser/root-dump.gz

or

dump -0f - /dev/sda1 | gzip -c > /home/bkupuser/root-dump.gz

not dump -Of (0=zero)

restore from local file

cd /mnt/root ; zcat /home/bkupuser/root-dump.gz | restore -rf-

tar backup to ssh

tar zcvpf - --directory=/ --exclude=proc --exclude=sys --exclude=dev/pts --exclude=backups --exclude=home --exclude=run/media . | ssh targetuser@targetmachine.example.com "/bin/cat > /mybigfiles/root.tar.gz"

ref

Thinkpad X41 wireless LAN FreeBSD8.1 

#wifimgr
wlans_iwi0="wlan0"
ifconfig_wlan0="WPA DHCP"
  • /boot/loader.conf
if_iwi_load="YES"
wlan_load="YES"
firmware_load="YES"

iwi_bss_load="YES"
iwi_ibss_load="YES"
iwi_monitor_load="YES"
legal.intel_iwi.license_ack=1

Ref

yacyで日本語Web検索

windows

Windows XPでyacyが日本語web検索できるように設定する方法をまとめた(Windows Vistaでも動くのを確認).
IEではなくfirefoxを使うのを推奨


クライアントとしてのみ使う

P2Pの部分を使わないで単に検索エンジンとして使うだけなら
http://yacy.net/release/yacy_v1.72_20140506_9000.exe
をインストールするだけで使えます。

  • 検索キーワードの注意点
    • yacyは"is" ,"on" などの2字以下の単語が無視されるようになってるため、日本語でも"鳩山"などの2文字以下の単語を検索できないようです。しかしローマ字で"hatoyama"と入力すると検索できます。

他の例

悪徳商法 -> AKUTOKU SHOUHOU

  • 区切り文字に全角空白を使うとうまく動かない　

”ニコラス ケイジ”
のように間に半角の空白をいれる必要がある

  • 最初は日本語の検索語を入力しても検索結果が出てこないようですが、何度か入力しているうちに日本語データのあるP2Pノードとつながって日本語が検索できるようになるようです。
    • 何度やっても日本語ノードにつながらない場合は日本語情報のあるサーバーが全て落ちてると思われます。1日ぐらいまちましょう。もう少し待てば日本語情報があちこちのノードに分散するはず？
  • 日本語データのあるノードにつながっても検索データがない場合は自分で検索情報を作って加える必要があります。日本語検索データを追加するには次のようにyacyを設定する必要があります。作ったデータはP2Pネットワークに拡散しましょう。

日本語データを自分で作るためのインストールと設定

可能ならwimdows上でVmwareでlinuxを動かして http://d.hatena.ne.jp/niitsuma/20100416/1271403446 この方法で動かすのを推奨します。

    • 最後にPOPFileを起動するか聞かれるので、起動しないにチェックする
  • yacyをインストールする
  • yacyを設定する
    • yacyを起動する
    • yacyのメニューを次のように選択
      • Peer Administration -> Administration Console -> Advanced Settings -> Remote Proxy (optional)
    • こんな設定画面になるので次のように設定を入力


      • Use remote proxy:　にチェック
      • Use remote proxy for yacy <-> yacy communication: のチェックをはずす
      • Remote proxy host:localhost
      • Remote proxy port:8300
  • 日本語変換proxyをインストール
  • 日本語変換proxyを起動
    • C:\delegated\bin\start-proxy.bat ダブルクリックしてproxyを起動する
    • 起動してしばらく待つとこんな画面になるのでリターンを入力

    • （　日本語変換proxyがちゃんと起動したか確認したかったら　http://127.0.0.1:8300/-_-http://www.yahoo.co.jp/ を開いてyahooのホームページが変な風に変換されて表示されているかみる。変なふうになっていたら、それで正常　）
    • 日本語変換proxyは一度起動すると、次からはパソコンの起動と同時に自動起動する。

起動

  • 設定が終わったらyacyを起動すれば日本語での検索ができるようになる。

検索情報の取得

P2Pネットワークに日本語web検索情報がない場合は自分でつくらないといけない

  • yacyのメニューからIndex Creationを選択するとこんな画面になる

  • Starting Point: From URL に検索情報を作成したいURLを入力
  • Start New Crawlボタンを押す

これで検索情報を取得できる.ただし検索情報が作成されるのにかなり時間がかかる（なのでP2Pで情報共有しましょうというのがyacy）。3日ぐらいかかることもある。

検索のしかた

Search Pageメニューを選び検索語を入力するだけ。
ただし、日本語で２文字以下の単語はローマ字で入力する必要がある
例：鳩山 -> hatoyama

ローマ字入力でもちゃんと検索できる例

まとめ　→　matome で検索した例


P2Pネットワークで検索情報を共有

ポート開放をしないとＰ２Ｐネットワークにつなげない。ポート開放の方法はプロパイダーごとに違う。フレッツ光の場合は次で設定できる
http://mizushima.ne.jp/Windows/port/CTU/premium.php

デフォルトでは9080番ポートを外部との接続に使うようになっているので9080番portを開放する

その他

  • 3日間ずっと動かしておくという使い方はwinsowsに向かない。できればlinuxを使うのが推奨。
なお以下のような日本語化もあったが今はリンクが切れてる

http://humming.dip.jp/yacy/　( http://www.suri.cs.okayama-u.ac.jp:8090 で試しに動かしている)
ここであげた方法よりもこっちのほうがいいかもしれない

YaCy exact sentence query

http://localhost:8090/solr/collection1/select?q=%22some%20exact%20sentence%22&defType=edismax&start=0&rows=3

or

http://localhost:8090/solr/collection1/select?q="some exact sentence"&defType=edismax&start=0&rows=3

Ref

YaCyで日本語Web検索

linux

YaCyはWeb検索データをP2Pで共有するフリーソフトの検索エンジン。

YaCyは正式には日本語検索に対応していないが、誰かが日本語検索データをP2Pネットワーク上にあげてくれれば日本語検索が可能にできる。その日本語検索データ作成方法は以下

Linuxで動かす手順( windowsでの手順はここ http://d.hatena.ne.jp/niitsuma/20100416/1273138280 )

kakasi　 libtext-kakasi-perl をインストール

ubuntuなら

sudo apt-get install kakasi libtext-kakasi-perl

またはgentooなら

emerge dev-perl/Text-Kakasi app-i18n/kakasi
delegeateと設定ファイルをインストール
sudo mkdir /usr/share/delegate/
cd /tmp
wget http://www2s.biglobe.ne.jp/~niitsuma/delegate9.9.6.tar.gz
tar zxf delegate9.9.6.tar.gz
cd delegate9.9.6/
make

makeの途中で聞かれる質問はすべてデフォルト（リターンキー）

sudo cp src/delegated /usr/share/delegate/

cd /tmp
wget https://github.com/niitsuma/yacy-japanese-proxy/archive/master.zip 
unzip master.zip
sudo cp yacy-japanese-proxy-master/* /usr/share/delegate/
delegateを起動
/usr/share/delegate/delgate-kakasi-double.sh
YaCyをインストール
  • yacyをマニュアル通りにintsallする
YaCyを起動して設定
    • YaCyのメニューを次のように選択
      • Peer Administration -> Administration Console -> Advanced Settings -> Remote Proxy (optional)
    • proxy設定画面になるので次のように設定を入力
      • Use remote proxy:　にチェック
      • Use remote proxy for yacy <-> yacy communication: のチェックをはずす
      • Remote proxy host:localhost
      • Remote proxy port:8300
YaCyの検索データを作成
    • YaCy の管理画面からIndex Creation または　Advanced Crawler　のメニューを選択
    • 検索インデックス作成メニュー画面になるので、検索データを作りたいURLを入力
    • Start New Crowl ボタンを押す
    • 日本語のインデックスが作られてWeb検索が日本語（とローマ字）でできるようになる
    • port解放してるなら作成したデータは自動的にP2Pネットワークにアップロードされる

補足

  • ローマ字検索

delegateではなくjapana http://www.cgarbs.de/japana.en.html　を代わりに使うとローマ字検索ができるはず。ubuntuの場合は sudo apt-get install japana でインストールできる

delegate経由でWebを閲覧すると「proxy経由の接続を拒否します」等のエラーで見れないことがある。そんな場合はsquidを経由する。
/usr/share/delegate/delgate-kakasi-double.sh の delegateの起動オプションに
delegated -P8300 ADMIN=none CACHE=no SERVER=http CHARCODE=SJIS FTOCL=wakati-kakasi.cfi PROXY=localhost:3128
というように
PROXY=squid-server:port-number
というオプションをつけると、検索可能なサイトが増えます

  • マシン
なお以下のような日本語化もあったが今はリンク切れ

http://humming.dip.jp/cgi-bin/oddmuse.pl/YaCy
http://humming.dip.jp/yacy/yacy_v0.99_20111103_7834-gomoku1.tar.gz

yacyでgoogle八分検索

Web検索データをP2Pで共有するyacyにはgoogle八分検出機能がある。ただし日本語に対応していなかったので、この方法で日本語を使えるようにした

linux http://d.hatena.ne.jp/niitsuma/20100416/1271403446
windows http://d.hatena.ne.jp/niitsuma/20100416/1273138280

次にこれを実際に使ってみる。

適用例としては、グーグル八分対策センター http://www.google8bu.com/ で上げられてる実例１「グロービートジャパン」について調べてみる

googleで検索すると2頁目ぐらいにgoogle八分がある

Wikipediaの関連する項目 [グロービートジャパン対平和神軍観察会事件]
http://ja.wikipedia.org/wiki/%E3%82%B0%E3%83%AD%E3%83%BC%E3%83%93%E3%83%BC%E3%83%88%E3%82%B8%E3%83%A3%E3%83%91%E3%83%B3%E5%AF%BE%E5%B9%B3%E5%92%8C%E7%A5%9E%E8%BB%8D%E8%A6%B3%E5%AF%9F%E4%BC%9A%E4%BA%8B%E4%BB%B6
を出発点としてyacyでwebクロールしてから検索してみるとこうなる（yacyにはデフォルトでgoogleとの比較機能がある）

yacyの検索上位に入ってるものでgoogleにないのはhatena関連（hatenaキーワードなど）と、あと以下のサイトがなかった

平和神軍観察会vsグロービートジャパンの裁判記録　http://d.hatena.ne.jp/globeat_saiban/archive

ただしyacyのP2Pネットーワークに参加してくれる人が増えないと本当に検索順位が操作されているかはわからない。