+ wait_for_file /etc/pki/CA/cacert.pem
+ local file=/etc/pki/CA/cacert.pem
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ wait_for_file /etc/pki/qemu/ca-cert.pem
+ local file=/etc/pki/qemu/ca-cert.pem
+ '[' '!' -f /etc/pki/qemu/ca-cert.pem ']'
+ wait_for_file /etc/pki/libvirt/servercert.pem
+ local file=/etc/pki/libvirt/servercert.pem
+ '[' '!' -f /etc/pki/libvirt/servercert.pem ']'
+ wait_for_file /etc/pki/libvirt/clientcert.pem
+ local file=/etc/pki/libvirt/clientcert.pem
+ '[' '!' -f /etc/pki/libvirt/clientcert.pem ']'
+ wait_for_file /etc/pki/qemu/server-cert.pem
+ local file=/etc/pki/qemu/server-cert.pem
+ '[' '!' -f /etc/pki/qemu/server-cert.pem ']'
+ wait_for_file /etc/pki/qemu/client-cert.pem
+ local file=/etc/pki/qemu/client-cert.pem
+ '[' '!' -f /etc/pki/qemu/client-cert.pem ']'
+ wait_for_file /etc/pki/libvirt/private/serverkey.pem
+ local file=/etc/pki/libvirt/private/serverkey.pem
+ '[' '!' -f /etc/pki/libvirt/private/serverkey.pem ']'
+ wait_for_file /etc/pki/libvirt/private/clientkey.pem
+ local file=/etc/pki/libvirt/private/clientkey.pem
+ '[' '!' -f /etc/pki/libvirt/private/clientkey.pem ']'
+ wait_for_file /etc/pki/qemu/server-key.pem
+ local file=/etc/pki/qemu/server-key.pem
+ '[' '!' -f /etc/pki/qemu/server-key.pem ']'
+ wait_for_file /etc/pki/qemu/client-key.pem
+ local file=/etc/pki/qemu/client-key.pem
+ '[' '!' -f /etc/pki/qemu/client-key.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/ca-cert.pem
+ local file=/etc/pki/libvirt-vnc/ca-cert.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/ca-cert.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/server-cert.pem
+ local file=/etc/pki/libvirt-vnc/server-cert.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/server-cert.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/server-key.pem
+ local file=/etc/pki/libvirt-vnc/server-key.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/server-key.pem ']'
++ grep -w libvirtd
++ cat /proc/1/comm /proc/10/comm /proc/100/comm /proc/100636/comm /proc/102/comm /proc/102367/comm /proc/103/comm /proc/10365/comm /proc/104/comm /proc/105/comm /proc/106/comm /proc/107503/comm /proc/108/comm /proc/10871/comm /proc/10872/comm /proc/109/comm /proc/11/comm /proc/110/comm /proc/111/comm /proc/112/comm /proc/1121/comm /proc/113/comm /proc/113062/comm /proc/113085/comm /proc/113240/comm /proc/113241/comm /proc/113506/comm /proc/113520/comm /proc/113521/comm /proc/114/comm /proc/114709/comm /proc/114734/comm /proc/114754/comm /proc/114777/comm /proc/114943/comm /proc/115/comm /proc/115089/comm /proc/115428/comm /proc/115430/comm /proc/115990/comm /proc/116/comm /proc/116399/comm /proc/116708/comm /proc/116731/comm /proc/116863/comm /proc/116881/comm /proc/116887/comm /proc/116965/comm /proc/116966/comm /proc/116978/comm /proc/117/comm /proc/117184/comm /proc/118589/comm /proc/118616/comm /proc/118638/comm /proc/118684/comm /proc/119117/comm /proc/12/comm /proc/121382/comm /proc/121467/comm /proc/122521/comm /proc/12254/comm /proc/12285/comm /proc/12339/comm /proc/12365/comm /proc/12384/comm /proc/12616/comm /proc/12647/comm /proc/12701/comm /proc/12727/comm /proc/12746/comm /proc/13/comm /proc/135236/comm /proc/135237/comm /proc/136348/comm /proc/136368/comm /proc/138377/comm /proc/139032/comm /proc/139045/comm /proc/139046/comm /proc/14/comm /proc/140601/comm /proc/142029/comm /proc/142052/comm /proc/142146/comm /proc/142170/comm /proc/142759/comm /proc/143127/comm /proc/143305/comm /proc/143986/comm /proc/144686/comm /proc/144710/comm /proc/144928/comm /proc/1452/comm /proc/147173/comm /proc/147206/comm /proc/149648/comm /proc/15/comm /proc/150421/comm /proc/150437/comm /proc/150438/comm /proc/151658/comm /proc/151659/comm /proc/15590/comm /proc/1570/comm /proc/1571/comm /proc/1572/comm /proc/1573/comm /proc/1577/comm /proc/158755/comm /proc/158756/comm /proc/158758/comm /proc/158759/comm /proc/158984/comm /proc/159525/comm /proc/159548/comm /proc/159789/comm /proc/159969/comm /proc/16/comm /proc/160003/comm /proc/160014/comm /proc/160046/comm /proc/160047/comm /proc/160048/comm /proc/160050/comm /proc/160454/comm /proc/160626/comm /proc/160654/comm /proc/160930/comm /proc/161381/comm /proc/161450/comm /proc/161485/comm /proc/161495/comm /proc/161692/comm /proc/161721/comm /proc/161752/comm /proc/161774/comm /proc/161951/comm /proc/161961/comm /proc/162002/comm /proc/162028/comm /proc/162135/comm /proc/162169/comm /proc/162400/comm /proc/162424/comm /proc/162521/comm /proc/162544/comm /proc/162696/comm /proc/162873/comm /proc/162879/comm /proc/163454/comm /proc/163610/comm /proc/163634/comm /proc/163884/comm /proc/163905/comm /proc/163911/comm /proc/163970/comm /proc/163971/comm /proc/163982/comm /proc/164148/comm /proc/1644/comm /proc/1648/comm /proc/1657/comm /proc/165724/comm /proc/165745/comm /proc/165974/comm /proc/165997/comm /proc/166/comm /proc/166038/comm /proc/166078/comm /proc/166115/comm /proc/166269/comm /proc/166312/comm /proc/166314/comm /proc/166345/comm /proc/166473/comm /proc/166501/comm /proc/166653/comm /proc/166677/comm /proc/166714/comm /proc/166764/comm /proc/166789/comm /proc/167/comm /proc/167446/comm /proc/167474/comm /proc/168/comm /proc/169/comm /proc/170/comm /proc/171/comm /proc/171182/comm /proc/171895/comm /proc/171987/comm /proc/172/comm /proc/172613/comm /proc/172652/comm /proc/173/comm /proc/174/comm /proc/174057/comm /proc/175333/comm /proc/176794/comm /proc/176845/comm /proc/177/comm /proc/177246/comm /proc/177282/comm /proc/177283/comm /proc/177370/comm /proc/177387/comm /proc/177388/comm /proc/178292/comm /proc/178322/comm /proc/178537/comm /proc/178544/comm /proc/178557/comm /proc/178588/comm /proc/178647/comm /proc/178660/comm /proc/178661/comm /proc/178686/comm /proc/178687/comm /proc/179/comm /proc/179364/comm /proc/179381/comm /proc/179499/comm /proc/179524/comm /proc/179814/comm /proc/179831/comm /proc/179837/comm /proc/179885/comm /proc/179886/comm /proc/179896/comm /proc/18/comm /proc/180/comm /proc/180077/comm /proc/181365/comm /proc/181386/comm /proc/181429/comm /proc/181438/comm /proc/181493/comm /proc/181500/comm /proc/181718/comm /proc/181742/comm /proc/181794/comm /proc/181825/comm /proc/182508/comm /proc/182521/comm /proc/183/comm /proc/185/comm /proc/18527/comm /proc/18548/comm /proc/18569/comm /proc/185858/comm /proc/185859/comm /proc/18596/comm /proc/185993/comm /proc/185998/comm /proc/186001/comm /proc/186059/comm /proc/186110/comm /proc/18633/comm /proc/186920/comm /proc/186930/comm /proc/187/comm /proc/188/comm /proc/188029/comm /proc/188052/comm /proc/188516/comm /proc/188560/comm /proc/188631/comm /proc/188662/comm /proc/188730/comm /proc/188742/comm /proc/188891/comm /proc/188908/comm /proc/189/comm /proc/189990/comm /proc/19/comm /proc/190/comm /proc/190041/comm /proc/190048/comm /proc/191962/comm /proc/192/comm /proc/192244/comm /proc/192245/comm /proc/192246/comm /proc/192548/comm /proc/192569/comm /proc/192597/comm /proc/192598/comm /proc/192611/comm /proc/192625/comm /proc/192626/comm /proc/192668/comm /proc/193067/comm /proc/193070/comm /proc/193073/comm /proc/193420/comm /proc/193574/comm /proc/194046/comm /proc/194059/comm /proc/194108/comm /proc/194231/comm /proc/194246/comm /proc/194247/comm /proc/194248/comm /proc/194249/comm /proc/194250/comm /proc/194251/comm /proc/194257/comm /proc/194261/comm /proc/194291/comm /proc/194362/comm /proc/194443/comm /proc/194539/comm /proc/194540/comm /proc/194780/comm /proc/194781/comm /proc/194807/comm /proc/194812/comm /proc/194813/comm /proc/194864/comm /proc/194867/comm /proc/194873/comm /proc/194875/comm /proc/194895/comm /proc/194900/comm /proc/194901/comm /proc/194902/comm /proc/2/comm /proc/20/comm /proc/203/comm /proc/204/comm /proc/205/comm /proc/21/comm /proc/214/comm /proc/21570/comm /proc/21638/comm /proc/21639/comm /proc/21652/comm /proc/218/comm /proc/219/comm /proc/22/comm /proc/224/comm /proc/24/comm /proc/246/comm /proc/24942/comm /proc/25/comm /proc/25221/comm /proc/25239/comm /proc/25263/comm /proc/25276/comm /proc/26/comm /proc/267/comm /proc/27/comm /proc/28/comm /proc/291/comm /proc/29567/comm /proc/29829/comm /proc/29848/comm /proc/29872/comm /proc/29884/comm /proc/3/comm /proc/30/comm /proc/302/comm /proc/303/comm /proc/304/comm /proc/305/comm /proc/306/comm /proc/31/comm /proc/32/comm /proc/325/comm /proc/326/comm /proc/33/comm /proc/330/comm /proc/331/comm /proc/332/comm /proc/333/comm /proc/334/comm /proc/335/comm /proc/34/comm /proc/34286/comm /proc/34552/comm /proc/34569/comm /proc/34594/comm /proc/34606/comm /proc/36/comm /proc/369/comm /proc/37/comm /proc/376/comm /proc/38/comm /proc/39/comm /proc/39061/comm /proc/39069/comm /proc/39200/comm /proc/39219/comm /proc/39246/comm /proc/39279/comm /proc/39299/comm /proc/4/comm /proc/40/comm /proc/408/comm /proc/416/comm /proc/41955/comm /proc/41983/comm /proc/41996/comm /proc/42/comm /proc/42008/comm /proc/42035/comm /proc/42038/comm /proc/42087/comm /proc/42106/comm /proc/42123/comm /proc/42128/comm /proc/42193/comm /proc/42211/comm /proc/42230/comm /proc/42264/comm /proc/42363/comm /proc/42420/comm /proc/42521/comm /proc/42545/comm /proc/42571/comm /proc/43/comm /proc/43314/comm /proc/43337/comm /proc/43361/comm /proc/43378/comm /proc/43564/comm /proc/43565/comm /proc/43650/comm /proc/43729/comm /proc/43871/comm /proc/44/comm /proc/44293/comm /proc/44693/comm /proc/44719/comm /proc/44749/comm /proc/45/comm /proc/45109/comm /proc/45133/comm /proc/45147/comm /proc/45173/comm /proc/45213/comm /proc/45232/comm /proc/45577/comm /proc/45600/comm /proc/45799/comm /proc/46/comm /proc/46100/comm /proc/46123/comm /proc/46138/comm /proc/46161/comm /proc/46177/comm /proc/46207/comm /proc/46324/comm /proc/46371/comm /proc/46417/comm /proc/468/comm /proc/48/comm /proc/48257/comm /proc/48286/comm /proc/48369/comm /proc/48394/comm /proc/48606/comm /proc/48619/comm /proc/48685/comm /proc/48750/comm /proc/49/comm /proc/49306/comm /proc/49348/comm /proc/49391/comm /proc/49415/comm /proc/49468/comm /proc/49589/comm /proc/49773/comm /proc/49798/comm /proc/49919/comm /proc/5/comm /proc/50/comm /proc/50062/comm /proc/50085/comm /proc/50477/comm /proc/50500/comm /proc/50529/comm /proc/50611/comm /proc/50697/comm /proc/50819/comm /proc/50844/comm /proc/50932/comm /proc/51/comm /proc/52/comm /proc/52654/comm /proc/52680/comm /proc/52853/comm /proc/52876/comm /proc/52943/comm /proc/53077/comm /proc/53257/comm /proc/53300/comm /proc/53392/comm /proc/536/comm /proc/54/comm /proc/55/comm /proc/56/comm /proc/57/comm /proc/58/comm /proc/58002/comm /proc/58025/comm /proc/58694/comm /proc/58720/comm /proc/58736/comm /proc/58759/comm /proc/58796/comm /proc/58819/comm /proc/59018/comm /proc/59041/comm /proc/59082/comm /proc/59118/comm /proc/59158/comm /proc/59329/comm /proc/59602/comm /proc/6/comm /proc/60/comm /proc/61/comm /proc/62/comm /proc/62248/comm /proc/629/comm /proc/63/comm /proc/633/comm /proc/63465/comm /proc/63466/comm /proc/63467/comm /proc/63468/comm /proc/63470/comm /proc/63471/comm /proc/63472/comm /proc/635/comm /proc/63516/comm /proc/63734/comm /proc/63785/comm /proc/63904/comm /proc/63928/comm /proc/63946/comm /proc/63977/comm /proc/63995/comm /proc/64/comm /proc/64020/comm /proc/642/comm /proc/64263/comm /proc/643/comm /proc/64737/comm /proc/64783/comm /proc/64924/comm /proc/65018/comm /proc/65019/comm /proc/65020/comm /proc/65022/comm /proc/65266/comm /proc/65333/comm /proc/65360/comm /proc/65466/comm /proc/65477/comm /proc/65502/comm /proc/65732/comm /proc/65763/comm /proc/65819/comm /proc/65843/comm /proc/65863/comm /proc/659/comm /proc/65900/comm /proc/66/comm /proc/66244/comm /proc/66276/comm /proc/66323/comm /proc/66341/comm /proc/665/comm /proc/66655/comm /proc/66684/comm /proc/66908/comm /proc/66932/comm /proc/67/comm /proc/67120/comm /proc/67135/comm /proc/67136/comm /proc/67137/comm /proc/67138/comm /proc/67139/comm /proc/67377/comm /proc/67490/comm /proc/67535/comm /proc/67559/comm /proc/67608/comm /proc/67950/comm /proc/67990/comm /proc/68/comm /proc/68206/comm /proc/68232/comm /proc/68448/comm /proc/68501/comm /proc/68554/comm /proc/68597/comm /proc/68747/comm /proc/68787/comm /proc/68832/comm /proc/68979/comm /proc/69/comm /proc/69115/comm /proc/69379/comm /proc/69411/comm /proc/69465/comm /proc/69543/comm /proc/69562/comm /proc/69698/comm /proc/69724/comm /proc/70/comm /proc/70104/comm /proc/70120/comm /proc/70126/comm /proc/70197/comm /proc/70198/comm /proc/70208/comm /proc/70343/comm /proc/71829/comm /proc/71887/comm /proc/719/comm /proc/72/comm /proc/722/comm /proc/723/comm /proc/73/comm /proc/736/comm /proc/74/comm /proc/75/comm /proc/75249/comm /proc/75285/comm /proc/75286/comm /proc/75287/comm /proc/75288/comm /proc/75291/comm /proc/75292/comm /proc/75294/comm /proc/75296/comm /proc/75297/comm /proc/75299/comm /proc/75300/comm /proc/75301/comm /proc/75302/comm /proc/75303/comm /proc/76/comm /proc/78/comm /proc/79/comm /proc/8/comm /proc/80/comm /proc/81/comm /proc/81146/comm /proc/81321/comm /proc/81344/comm /proc/81434/comm /proc/81452/comm /proc/81476/comm /proc/81540/comm /proc/81541/comm /proc/81551/comm /proc/81688/comm /proc/82/comm /proc/82814/comm /proc/82848/comm /proc/84/comm /proc/84198/comm /proc/84279/comm /proc/85/comm /proc/86/comm /proc/87/comm /proc/88/comm /proc/881/comm /proc/88172/comm /proc/88189/comm /proc/89013/comm /proc/89037/comm /proc/90/comm /proc/90174/comm /proc/91/comm /proc/92/comm /proc/9257/comm /proc/9274/comm /proc/92856/comm /proc/9290/comm /proc/93/comm /proc/9372/comm /proc/94/comm /proc/952/comm /proc/95797/comm /proc/96/comm /proc/96060/comm /proc/96084/comm /proc/96386/comm /proc/96402/comm /proc/96408/comm /proc/96519/comm /proc/96520/comm /proc/96530/comm /proc/96684/comm /proc/97/comm /proc/98/comm /proc/99/comm /proc/99348/comm /proc/99372/comm /proc/99392/comm /proc/99422/comm /proc/99842/comm /proc/9991/comm /proc/99944/comm /proc/self/comm /proc/thread-self/comm
+ '[' -n '' ']'
+ rm -f /var/run/libvirtd.pid
+ [[ -c /dev/kvm ]]
+ chmod 660 /dev/kvm
+ chown root:kvm /dev/kvm
+ CGROUPS=
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/blkio ']'
+ grep -w blkio /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/cpu ']'
+ grep -w cpu /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=cpu,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/devices ']'
+ grep -w devices /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/freezer ']'
+ grep -w freezer /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/hugetlb ']'
+ grep -w hugetlb /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=hugetlb,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/memory ']'
+ grep -w memory /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=memory,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/net_cls ']'
+ grep -w net_cls /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/perf_event ']'
+ grep -w perf_event /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/rdma ']'
+ grep -w rdma /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=rdma,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/misc ']'
+ grep -w misc /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=misc,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/pids ']'
+ grep -w pids /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=pids,
+ cgcreate -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt
++ cat /proc/meminfo
++ grep HugePages_Total
++ tr -cd '[:digit:]'
+ hp_count=0
+ '[' 00 -gt 0 ']'
+ '[' -n 457eb676-33da-42ec-9a8c-9293d545c337 ']'
+ cgexec -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt systemd-run --scope --slice=system libvirtd --listen
++ mktemp --suffix .xml
+ tmpsecret=/tmp/tmp.Rw0UJ6jrnP.xml
+ '[' -n '' ']'
+ trap cleanup EXIT
+ TIMEOUT=60
+ [[ ! -f /var/run/libvirtd.pid ]]
+ [[ 60 -gt 0 ]]
+ let TIMEOUT-=1
+ sleep 1
Running as unit: run-r6eb105bdfb8b4ad2aa963cc3b6220575.scope; invocation ID: 337fd20b56724e45a6f14f2fb7d096f4
+ [[ ! -f /var/run/libvirtd.pid ]]
+ TIMEOUT=10
+ [[ ! -e /var/run/libvirt/libvirt-sock ]]
+ '[' -z '' ']'
+ '[' -n cinder ']'
++ awk '/key/{print $3}' /etc/ceph/ceph.client.cinder.keyring
+ CEPH_CINDER_KEYRING=AQD17s5qC/uiNBAAyuhzwWupu2pUJlBNBZO0eA==
+ '[' -n cinder ']'
+ create_virsh_libvirt_secret cinder 457eb676-33da-42ec-9a8c-9293d545c337 AQD17s5qC/uiNBAAyuhzwWupu2pUJlBNBZO0eA==
+ sec_user=cinder
+ sec_uuid=457eb676-33da-42ec-9a8c-9293d545c337
+ sec_ceph_keyring=AQD17s5qC/uiNBAAyuhzwWupu2pUJlBNBZO0eA==
+ cat
+ virsh secret-define --file /tmp/tmp.Rw0UJ6jrnP.xml
Secret 457eb676-33da-42ec-9a8c-9293d545c337 created

+ virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 AQD17s5qC/uiNBAAyuhzwWupu2pUJlBNBZO0eA==
error: Passing secret value as command-line argument is insecure!
Secret value set

+ '[' -n '' ']'
+ '[' -n '' ']'
+ cleanup
+ rm -f /tmp/tmp.Rw0UJ6jrnP.xml
+ '[' -n '' ']'
++ cat /var/run/libvirtd.pid
+ LIBVIRTD_PID=194922
+ kill 194922
+ tail --pid=194922 -f /dev/null
+ cgexec -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt systemd-run --scope --slice=system libvirtd --listen
Running as unit: run-rd660006613b04ead9cec56db819f2909.scope; invocation ID: 27f255362fb6440980ebe0221bca9deb