-
Linux
-
【PVE】Proxmox VE【KVM, LXC】NODE-2
-
UPLIFTで広告なしで体験しましょう!快適な閲覧ライフをお約束します!
Proxmox VEについて語りましょう!
Proxmox VEは、Debianをベースとしたオープンソースのサーバー仮想化プラットフォームです
仮想マシンとコンテナの管理を、統合されたWebインターフェイスを通じて直感的に行うことができます
【公式サイト】
http://www.proxmox.com/
【公式ドキュメント】
https://pve.proxmox.com/pve-docs/
【特徴】
・オープンソース: コスト効率が良く、広範なコミュニティサポートが利用可能
・仮想マシンとコンテナの統合: KVMとLXCのサポートにより、柔軟な仮想化ソリューションを提供
・クラスタリングによる高可用性: 複数サーバの統合管理で、負荷分散や冗長性を実現
・Web GUIによる簡単管理: 直感的なインターフェースで専門知識がなくても管理可能
・多様なストレージサポート: NFS、iSCSI、Cephなど複数のオプション対応
・統合バックアップとレプリケーション: 簡単設定でデータ保護と災害復旧をサポート
・ライブマイグレーション: 稼働中のVMをダウンタイムなしで移動可能
【前スレ】
【PVE】Proxmox VE【KVM, OpenVZ】
https://mao.5ch.net/...gi/linux/1381916363/ - コメントを投稿する
-
勝手にいくつか変更させてもらった
・WikipediaへのリンクはWikiの情報が古く少ないため削除
・Proxmox公式ドキュメントへのリンク追加
・OpenVZは現在サポート対応してないためLXCに変更
・説明文をChatGPT-4で生成 -
>>1
おつです。
ESXi用のCiscoの有償トレーニングソフトCisco Modeling LabsをProxmoxで動かした記事がネットに上がっていた。
そんなこんなでProxmox利用者がどんどん増えるかもね。 -
乙
> 1001 名前:1001 []: Over 1000 Thread
> このスレッドは1000を超えました。
> 新しいスレッドを立ててください。
> life time: 3829日 17時間 37分 12秒
前スレ完走まで10年超えで草 -
300までに9年、残りで1年くらいだったな
-
すげえな
VMwareの影響か知らんけど -
>>6
影響でしょう -
これからは、VMware関係スレが
-
前スレ>>996だけど
>CRUSHマップに古いノードの情報が残ってる
ceph osd crush remove {bucket-name}で古いProxmoxのノード情報を消したら
>WEBGUIのCeph(OSD)に前のノード情報が残ってる
これも上記の操作で綺麗になった
恐らくだけど、Cephの運用でProxomox側で管理してるのは極一部で(pmxcfsでceph.confを同期+α)
Proxomox側で情報や管理は行ってる部分は殆どなく、WebGUI等はその都度Cephから直接情報取得して表示してるのだろう
(ソースコード見ればいいのだろけど、すごく面倒・・・)
pvecephコマンドも基本的にはproxmoxのディレクトリ構造前提にCephをコマンド操作してる程度の動きなんだと思う
(pvecephでCephの認証キー?とかをクラスタ間で送受信もしてるはず)
※以下日記なのだけど・・・
【現在】 NASサーバーx1台、Proxmoxx2台
【今後(妄想)】 NASサーバーx1台、Proxmoxx3台(CephとHAを運用したい)
妄想中に思い付いたのだが・・・
追加でNASサーバーを冗長化したいと思ったら、いっそProxmoxx5台にしてCephを中心にNAS化したほうが管理が楽じゃないか?
(なお電気代がヤバイので無謀な気もする) -
2.5GbEでクラスタ組んでる3台6OSD構成のProxmoxクラスタだけど、ストレージの速度は100MB/sくらいしか出ないよ
-
普通の1000BASE-Tで3台3OSD(2.5インチSSD)構成のProxmoxだけど、ストレージの速度は
VM(ubuntu)のKDiskMarkでSEQ1M Read 190MB/s、Write 50MB/sとか出てるけどなぁ。
NASの容量や目的にも依るだろうけど自分はVMにインストールしたNextcloudで不満は無い。 -
>>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか? -
>>9
Ceph組んだことないんだけど、Proxmox3台で、HAとCephを一緒に組めるものなのじゃないのか? -
ごめん、2どかいてしまった。
-
Cephに渡すドライブって /dev/sdb とかの丸ごとじゃないとダメなの?
N100の安miniPCで追加ドライブ用意するのが面倒
(Proxmox自体をUSBメモリにインストールすればいいのだけど、挿ってるのがちょっと気に入らないw) -
raidzで組みたいんだが後からSSD増設できない仕様なのにSSD値上がりしまくってるせいで痛い
何かいい案ないものか -
>10,11
参考になります
自分の環境だと3台( NIC 1Gbps )で Write 42MB/s 位でした(想定の範囲)
(一応 public と cluster のネットワークを分けてみたけど、内部の vm からだとあまり変わらず)
複数のノードから同時に書き込みして、その合計を書き込み速度って考えならもっと増えるかな(今度試してみよう・・・) -
>>15
試したことが無いから憶測だけど
ある程度Linuxの知識あって、Cephのドキュメント読みながらOSD構築できるなら
LV(LVM)でも任意のパーテーションでもOSD用に割り当てできるはず
いま調べてる途中なんだけど、Cephのモニターかマネージャーノード(両方?)が
OSDじゃなくLinuxのインストール側のディスクに常に0.5MBye/sec位謎の書き込みしてる
(内容(原因)追ってるんだけど、inotifywaitでは?特定できてない)
それで、高耐久ではない一般的なUSBメモリだと直ぐに死ぬ! -
Cephの謎の連続書き込みこれっぽい
/var/lib/ceph/mon/ceph-{host-name}/store.db
( find / -mmin -1 の結果から、それっぽいの見つけた )
123456.log , 123456.sst(6桁?の数値.logと.sst)が原因っぽい
0.5MBye/sec≒15TByte/yearはちょっと多い・・・
Proxmoxの起動用に容量少ないSSD使ってるから不安しかない・・・ -
UNIXの頃から、安全を見てrootの予定空き容量は50%以上を確保しておけと。
(たいした容量は必要ない) -
今日の悲しい報告
fstrimコマンドを100回は打った
Lvm(thin)もZFSもCephもThin Provisioningなのに、なぜ確保した範囲が解放されないって悩み過ぎた
Discardを有効にするために/etc/pve/qemu-server/<vmid>.conf 弄ったり
/etc/lvm/lvm.conf 弄ったり
zpool set autotrim=on pool 打ったり・・・
Vmで使う仮想DiskのDiscradのオプションに気づかずに・・・ -
PVEでのcephの運用勉強してたら
前提条件が変わってきて用意したパーツが無駄に(笑)
データ用SSD180GB(MLC)x14個
起動用SSD32GB(SLC)x14個 ← これ、窓から投げ捨てて
起動用に100GB+α以上で高耐久のSSD調達しないと(涙) -
>>24
どんな構成なのか気になる・・・ -
ISO置き場は読み込み速度がほしいのでSSDにしてるな
-
Optaneでいいよもう
-
/var/lib/ceph/mon 以下をtmpfsにしちゃうとか
-
逆にProxmoxサーバーのシステムディスクがHDDの場合、cephのパフォーマンスにどのぐらい影響するか知りたい。
-
>>25
[最初の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180GBx3をZFS・RAIDZで冗長化(4台分)
Proxmox x3+予備マシンx1、NASx1、実験用x1
[途中の計画]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備
180x3をCephに使う(マシン3台+1台)2個は予備
Proxmox x3+予備マシン*1、NASx1、実験用x1
[現在(中断する計画)]
32GB(SLC)をZFS・ミラーで冗長化して起動用(6台分)2個は予備 (Cpehの書き込み量に対して不安)
NASに使ってるSSDとかHDDをCephに集結して、Proxmox x5+1(予備)でCephを構築してNASも兼ねる -
>>26
HDD、1万回転のSASのなら使ってないのが・・・
>Proxmox起動用
Ceph無し、容量それほど必要じゃないならSSD(ただし、信頼性の高いメーカー・モデルが良い)
HDDは電源切断直後に衝撃を与えると簡単に壊た
>>28
Optaneは昔数点確保してたけど、入手性が悪くて必要量確保するのが・・・
>>29
Cephの公式ドキュメントだとモニターノード用に100GB確保する事が推奨されてた
OSD少な目でも数十GBの容量は確保する必要が有りそうなので、tmpfsでの運用は難しいと思う
tmpfsを定期的に保存してたとして、障害発生時にモニターとOSDでの配置マップの整合性が合わないと最悪データ壊れたり、未知の不具合が起こるかも
モニターが保存してるデータベースは重要みたいで、モニターノードは頻繁にfsync発行してるらしい(ちょっと曖昧) -
Cephのベンチマーク
Proxmoxの3台のノードでCephを構築
3ノードで同時に書き込み(シーケンシャル)をして書き込みレートを合計
NIC1Gbps(cluster・public同) 60~70MByte/sec
NIC1Gbps(cluster・public別) 85~95MBye/sec
NIC1Gbpsx2 ( balance-rr cluster・public同 ) 115~130MByte/sec
NIC1Gbpsx2 ( balance-rr cluster・public同 ecpool ( k=2,m=1 ) ) 230~290MByte/sec -
Proxmox VE 8.2 released!
https://forum.proxmo...8-2-released.145722/ -
ついに来たな
-
なんか変わったん?
-
へぇ。8.1.8以降だと、ESXiからのライブマイグレーションもGUIからできるようになっているのか。
https://qiita.com/oi...0cc452a022fa1ea07a7b
戻し(PVE→ESXi)もできるようになると面白いと思う。 -
>>37
なんと
前に調べた時は、ESXi -> proxmox の移行が割と面倒なのと、そもそもハードウエアの準備が間に合わなかったので、当面ESXi を使い続ける決断をしたのだが、いよいよ現実的になってきたな -
ZFS RAID1のバグは直ったかな
完全同容量でないと入れられないやつ -
>>40
これ変わらないと将来片方壊れたとき復元できないんだよな -
DebianやUbuntuのZFS RAID1なら問題ないの?
-
>>42
ProxmoxのインストールでZFSのMirrorだと同容量じゃないとインストール出来ないけど
コマンド前提で、インストール後のデータディスクなどにで、異なる容量でミラーを新規作成は-fオプションで可能
壊れたディスクを新しい容量の違う(より容量の多きい)に交換も可能 -
>>43
詳しく
pve片肺で入れたあとにもう1個繋いでzfsコマンドの-fでraid1作るってこと?-fなんかあったっけ
あとbootパーティションどうにかしないと起動しないよな。grub2再構築だけだといけなかった記憶 -
>>44
ちょっと気になったから実際に試してみた
◆Proxmoxの起動ディスクを異なる容量のZFS・Mirrorを構築する手順?
(BIOSのUEFI、CSM、SecureBoot等々の組み合わせで、ダメかもしれないが・・・)
インストール画面でZFSのRAID0を選択して容量の少ない方の単独のディスクにインストール
( disk 0にインストール先 disk 1~ に --do not use-- を選択 )
インストール後に、以下の手順でbootやら、ZFSミラーやらを構築
gdisk /dev/sdxでパーテーションを作成 (Mirror先が /dev/sdb の場合)
・1 MB BIOS Boot Partition ( gdisk type EF02 )
・512 MB EFI System Partition ( ESP, gdisk type EF00 )
・ZFSミラー用のパーテーション( Type BF01 )
以下のコマンドで起動部分を構築
・proxmox-boot-tool format /dev/sdb2
・proxmox-boot-tool init /dev/sdb2
zpool statusで既存のプールのディスク名を確認「 例)scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 」
以下のコマンドで単独のディスクからMirrorに変更
zpool attach rpool scsi-0QEMU_QEMU_HARDDISK_drive-scsi0-part3 /dev/sdb3
(容量に関する警告が出来る場合は -f で無視できる)
データのミラーリングが完了したら構築完了
参考用検索ワード 「proxmox Host_Bootloader」 -
kernel更新したらpt3_drv.koの組み込みでコケるようになった
素人判断で合っているのかどうか分からんけど、これで直った
diff pt3_pci.c-dist pt3_pci.c
929c929
< rc = dma_set_coherent_mask((struct device *)pdev, DMA_BIT_MASK(64));
---
> rc = dma_set_coherent_mask(&pdev->dev, DMA_BIT_MASK(64)); -
EPYCがAM5で出るらしい
普通のパソコンで16C32Tで組める時代になった -
X950は16C32Tだよね
-
おいおいdRAIDが選べるのか
RAIDZとどっちがいいんだ? -
藤井聡太の師匠、杉本昌隆に使ってもらう事を想定したEPYCだろうか
-
Webサーバ、DBサーバを分けて、Active/Standby用も分けて建てられるやん。
1環境に2コア割くとして16台のサーバ群が...
楽しいー -
>>47
AM4でも組めた(3950/5950)けど、使い勝手が悪かったのか? -
EPYCならECCメモリ使えるから大容量でも安心じゃん?
と思ったんだけど、RyzenってそもそもECCメモリ普通に使えんのね
知らなかったわ
でも、そうなるとRyzen9との差別化的にEPYC4004シリーズって微妙に思えてきた -
RyzenのECCは使えるけど公式サポートされてない
EPYCはされてる -
Ryzen7 PRO 4x50Gは無駄にECC正式サポートだったりする。
-
Proはみんなそうじゃね?
-
USB延長コードとキーボードをつないでいたら起動できなかったが、外したら普通に起動ができてまた震えさされた今日
前回お世話になったものでようやくバックアップしようとSSDを増設しlvm-thin でフォーマットしたのですが
たのですが、今使ってるexfatの仮想マシーンを移動することができてもコピーすることが出来ません。
全部LVMTHINに移動してからEXFATのをLVMにフォーマットすればいいのかもしれませんがいろいろと間違わないか不安です。
CHATGPTに聞くとディレクトリ間でコピーしてからコピーしたのを移動すればいいといわれたので、先ずバックアップしようとしたのですが、
LVMTINが選べないのは当然としてLOCALという覚えのない100gのところが指定されるのですが、使っていいか不安です -
起動ディスク partitions 500gb
BIOSBOOT 1mb
EFI 1Gb
LVM 499gb
データディスク partitions 2tb
EXT4 2tb
バックアップディスク LVM 2tb
データセンター下の表示
LOCAL 100G (どこから出てきたかわからず
LOCAL LVM 362G (どこから出てきたかわからず
RED
RED2BACKUP
LOCAL LVM 362GをフォーマットしてEXT4にすればいいようにも思いますが、何もわからないので動けない状態で、お知恵をおかしいただけると幸いです。 -
XEON 2g 18コア からRYZEN7950に移行したら20ぐらいの仮想マシンの環境でブラウジングやエクスプローラーの速度が数倍になりました。
実機よりちょい重いぐらいかなのレベルで動くんですごいですね。
XEONマシンはいろいろとガタが来て超重かっただけかもですが、世代が違うと性能以上の差が出るんですかね -
性能以上の差ってどういうことだ?
仮想マシンの場合、passmark の総合スコアだけでなく single thread rating の数字も見ておかないといかんですの -
7950Xは16コアとはいえ基本クロック4.5GHzでDDR5だから、Xeon 2GHz 18コアの倍の性能は出るじゃろ。
-
XEONだと鈍重でまともに動かなかったのは別の理由だったんですかね
ロード100にはなってなかったのでエクスプローラーの重さは異常でした -
>>66
xeon 2G 18coreってE5-2686 v3か?
同一クロック同一コア数で半分くらいの性能しか無さそうだな
その上でクロックが倍になるわけで性能はかなり違うのは頷けるね
それくらいの世代だとssdもsataだったりするんじゃないか? -
>>61 が実現したいのは次の理解で正しい?
1. VMのバックアップを保存したい
保存先はストレージRED2BACKUP
2. VMをコピーしたい
コピーしたVMのHDD保存先はストレージRED
※ストレージlocalとlocal lvmはよくわからないから不安 -
ニコニコ動画がサーバーの仮想化基盤かリモート管理機能を乗っ取られた
自分も緊急時に備えてサーバーの物理電源を抜く練習(素振り)しとくぞ!
冗談はさておき、みんなは
リモート管理機能(IPMI等)、仮想化基盤(Proxomox)、仮想マシンのネットワークは完全分離してる?
自分は物理的な分離は出来てない(VLANとIPフィルターによる分離・・・) -
してない電気代の無駄vlanで十分だ
ただ、使ってる器材が古いから現代の機材を使えば同じ電力で分離できるかもね -
逆に論理で分離されているものを物理に戻す意味あるのか
SDNの意味とか -
物理のマネージメントはしてるよ
-
お外から自宅へアクセスがあるのはルーターとNAS(Synology)で走っているOpenVPNとTailscaleだけだから、全部192.168.1.0/24。
仮想環境内で仮想スイッチを使う時があれば、改めてセグメントを考える。 -
物理的に別のスイッチに繋ってるとたとえファームにどんなバグがあったとしても絶対にフレームが混ざらないという安心感はあるが、
内部ネットワークの分離はVLANでいいわ
ケーブルぐちゃぐちゃになるし -
データセンターで稼働する大規模サービスと自宅環境を比べて語ってもしゃーない
-
さっきpveアップデートしたら立ち上がらなくなった
原因は不明
今夜は徹夜かな
はぁ -
>>76
もしかしてアップデートを実行したときにW: (pve-apt-hook) !! WARNING !!以下のproxmox-veを
削除しようとするメッセージが出てなかった?
自分はさっき出たけどapt updateを再度実行してからapt upgradeしたら正常にアップデートできた -
>>77
ああ、debian系のお約束か。> updateしてからupgrade -
あぼーん
-
>>80
動物の動画ばっかり見てるわ -
(´・ω・`)えろるまんちー
-
Proxmox の導入を考えているのですが、CPU は
PコアEコアに分かれている Intel より AMD の方が良い(無難?)ような気がするのですが間違ってますか?
ご意見を頂けると幸いです。 -
Proxmox VE 8はDebian12(カーネルイメージ6.1シリーズ)で動いているので、仮想マシンに負荷がかかると空いているPコアを優先して使うはずです。
全ての仮想マシンに一斉に100パーセントの負荷がかかった場合は、Eコアに割り当てられた仮想マシンの性能が低くなる事は考えられます。 -
i5 7500tとRyzen5 2400geで動かしてる個人的な感覚なんだけど
AMDよりIntelの方が仮想化が上手いと思う
Winでベンチ動かしたりするとAMDの方が数値はいいんだけど
なんかIntelの方が動きがスムーズな気がする
気のせいかもしれんけどね
まあ古いCPUの比較だから参考にならんか -
コメントありがとうございます。
あと、もうひとつ。
仮想マシンを1台しか立てなくても proxmox にしたほうが良いことはあるか?です。
1.バックアップが簡単で復旧も楽?
がまっさきに思いついたのですが他にどんなことが考えられますか?
ご教示頂けると幸いです。 -
そもそも常時稼働が前提のシステムでECCメモリが使えないシステム構成は選択範囲外
-
>>86
ESXiでの感想だけど
普段常用するPCが仮想だと何かあったときの復旧が楽なのでメリットはあるね
物理パーツ変更の影響が無いのでゲストがWindowsの場合は特に
バックアップが楽なのと同じようなことだけど
ホストが復旧不可のトラブルになってもProxmoxが起動できるPCと元のストレージがあれば何事も無かったように復旧できるのは便利だった -
>>86
バックアップが楽の延長線上の話ですが‥
セキュリティパッチを当てる場合や、重要なサービスを更新するときに、スナップショットを撮っておけばすぐにロールバック可能なので、心理的なハードルが下がります。 -
>>85
瞬発力というか、シングルコアあたりの処理能力なのか、よくわからんけど、同じような印象はある
ただ、低消費電力CPUの場合というか、モバイルCPUの場合はRyzen の方がバランス良い気がするんだよな
モバイルCPUを積んだ汎用マザーボードが出てくれないものかね
サーバの場合は24時間つけっぱなしだから尚更ですわ
N100 も悪くは無いのだけれども -
M11SDVとかじゃ不満なの?
-
>>90
5800Uを載せてNICが1Gと2.5Gの2つ有って最大メモリー128GBなM-ATXがあれば家での仮想用に最適なんだけれど、そんな誰が買うのか見当も付かない超ニッチな製品なんて製品化されない自信はある。
なので次善の策はECCも使える4750Gか。DDR4のECCって秋葉原のArkかオリオスペックで頼めば手に入るかな。 -
N100 で64GB か 128GB 積めるのないかね
64GBまでは、非公式にサポートされてるぽいし -
N100 で ecc サポートされればいいのに
サーバ用途でスマッシュヒットになると思うんだけどなあ
そもそもN100がこんなに注目させるなんて、intel も思ってなかったんとちゃうか -
N100 N95 シリーズの後継の話ってないんですかね?
-
>>93
どこでそんなガセネタを掴まされたか知らないが、公式には最大16GB。
https://www.intel.co.../specifications.html
うちは1枚で32GB積んでいるけど、それ以上は無理。 -
もしかしてノートPCなら載るのかと調べましたが、1スロット最大64GBが元のAlder Lakeの仕様です。N100DC-ITXならデスクトップ用のメモリーが挿さるので「もしかしたら」64GBまで認識するかもしれません。
DDR5ならCrucialの48GBが認識したというコメントもありますけれど、認識したPCの具体的なメーカーと品名は書かれていません。
https://www.reddit.c..._gb_or_64_gb_of_ram/ -
>>96
48GBまでは認識したというのはどこかでみた -
proxmox 用ミニPCの購入を考えているのですが
Debian が動くか?など何かチェックしておいたほうが良いことってありますか?
あるいはあるとベターな機能など。
↑今すぐ読める無料コミック大量配信中!↑