+ wait_for_file /etc/pki/CA/cacert.pem
+ local file=/etc/pki/CA/cacert.pem
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ wait_for_file /etc/pki/qemu/ca-cert.pem
+ local file=/etc/pki/qemu/ca-cert.pem
+ '[' '!' -f /etc/pki/qemu/ca-cert.pem ']'
+ wait_for_file /etc/pki/libvirt/servercert.pem
+ local file=/etc/pki/libvirt/servercert.pem
+ '[' '!' -f /etc/pki/libvirt/servercert.pem ']'
+ wait_for_file /etc/pki/libvirt/clientcert.pem
+ local file=/etc/pki/libvirt/clientcert.pem
+ '[' '!' -f /etc/pki/libvirt/clientcert.pem ']'
+ wait_for_file /etc/pki/qemu/server-cert.pem
+ local file=/etc/pki/qemu/server-cert.pem
+ '[' '!' -f /etc/pki/qemu/server-cert.pem ']'
+ wait_for_file /etc/pki/qemu/client-cert.pem
+ local file=/etc/pki/qemu/client-cert.pem
+ '[' '!' -f /etc/pki/qemu/client-cert.pem ']'
+ wait_for_file /etc/pki/libvirt/private/serverkey.pem
+ local file=/etc/pki/libvirt/private/serverkey.pem
+ '[' '!' -f /etc/pki/libvirt/private/serverkey.pem ']'
+ wait_for_file /etc/pki/libvirt/private/clientkey.pem
+ local file=/etc/pki/libvirt/private/clientkey.pem
+ '[' '!' -f /etc/pki/libvirt/private/clientkey.pem ']'
+ wait_for_file /etc/pki/qemu/server-key.pem
+ local file=/etc/pki/qemu/server-key.pem
+ '[' '!' -f /etc/pki/qemu/server-key.pem ']'
+ wait_for_file /etc/pki/qemu/client-key.pem
+ local file=/etc/pki/qemu/client-key.pem
+ '[' '!' -f /etc/pki/qemu/client-key.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/ca-cert.pem
+ local file=/etc/pki/libvirt-vnc/ca-cert.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/ca-cert.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/server-cert.pem
+ local file=/etc/pki/libvirt-vnc/server-cert.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/server-cert.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/server-key.pem
+ local file=/etc/pki/libvirt-vnc/server-key.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/server-key.pem ']'
++ grep -w libvirtd
++ cat /proc/1/comm /proc/10/comm /proc/100/comm /proc/102/comm /proc/103/comm /proc/10331/comm /proc/104/comm /proc/105/comm /proc/106/comm /proc/106716/comm /proc/106739/comm /proc/107140/comm /proc/107153/comm /proc/107154/comm /proc/108/comm /proc/108230/comm /proc/108253/comm /proc/108268/comm /proc/108292/comm /proc/10837/comm /proc/10838/comm /proc/108532/comm /proc/108768/comm /proc/108770/comm /proc/109/comm /proc/1092/comm /proc/109492/comm /proc/109970/comm /proc/11/comm /proc/110/comm /proc/110123/comm /proc/110244/comm /proc/110268/comm /proc/110452/comm /proc/110468/comm /proc/110474/comm /proc/110546/comm /proc/110547/comm /proc/110557/comm /proc/110694/comm /proc/111/comm /proc/111988/comm /proc/112/comm /proc/112015/comm /proc/112051/comm /proc/112075/comm /proc/113/comm /proc/114/comm /proc/115/comm /proc/116/comm /proc/116119/comm /proc/117/comm /proc/117169/comm /proc/118431/comm /proc/118591/comm /proc/119591/comm /proc/119599/comm /proc/119608/comm /proc/12/comm /proc/120464/comm /proc/121671/comm /proc/122031/comm /proc/122045/comm /proc/122046/comm /proc/12211/comm /proc/12240/comm /proc/12273/comm /proc/12316/comm /proc/12334/comm /proc/123487/comm /proc/125223/comm /proc/125247/comm /proc/125283/comm /proc/125311/comm /proc/12572/comm /proc/125950/comm /proc/12602/comm /proc/126349/comm /proc/126500/comm /proc/12658/comm /proc/12681/comm /proc/12703/comm /proc/127093/comm /proc/127237/comm /proc/127300/comm /proc/128000/comm /proc/128025/comm /proc/128289/comm /proc/128461/comm /proc/128473/comm /proc/13/comm /proc/130223/comm /proc/130288/comm /proc/131694/comm /proc/131789/comm /proc/132086/comm /proc/132087/comm /proc/132834/comm /proc/132835/comm /proc/133600/comm /proc/133618/comm /proc/133619/comm /proc/134707/comm /proc/134708/comm /proc/14/comm /proc/142002/comm /proc/142003/comm /proc/142005/comm /proc/142006/comm /proc/1425/comm /proc/14539/comm /proc/145873/comm /proc/15/comm /proc/154047/comm /proc/154070/comm /proc/1543/comm /proc/154343/comm /proc/1544/comm /proc/154464/comm /proc/154497/comm /proc/1545/comm /proc/154511/comm /proc/154542/comm /proc/154543/comm /proc/154545/comm /proc/154546/comm /proc/1546/comm /proc/1550/comm /proc/155563/comm /proc/155587/comm /proc/155967/comm /proc/156029/comm /proc/156177/comm /proc/156502/comm /proc/156656/comm /proc/156860/comm /proc/156883/comm /proc/157080/comm /proc/157097/comm /proc/157103/comm /proc/157220/comm /proc/157221/comm /proc/157231/comm /proc/157340/comm /proc/159010/comm /proc/159043/comm /proc/159170/comm /proc/159244/comm /proc/159278/comm /proc/159381/comm /proc/159424/comm /proc/159505/comm /proc/159533/comm /proc/159576/comm /proc/159617/comm /proc/159655/comm /proc/159854/comm /proc/159875/comm /proc/16/comm /proc/160128/comm /proc/160152/comm /proc/1617/comm /proc/1621/comm /proc/1630/comm /proc/165/comm /proc/165027/comm /proc/165343/comm /proc/165431/comm /proc/165433/comm /proc/166/comm /proc/166625/comm /proc/166711/comm /proc/167/comm /proc/167732/comm /proc/167758/comm /proc/168/comm /proc/169/comm /proc/169254/comm /proc/169573/comm /proc/169622/comm /proc/169634/comm /proc/169635/comm /proc/169865/comm /proc/169878/comm /proc/169879/comm /proc/170/comm /proc/170675/comm /proc/170677/comm /proc/170999/comm /proc/171/comm /proc/171000/comm /proc/171107/comm /proc/171109/comm /proc/171725/comm /proc/171733/comm /proc/171734/comm /proc/171736/comm /proc/171882/comm /proc/171905/comm /proc/172/comm /proc/172061/comm /proc/172078/comm /proc/172084/comm /proc/172165/comm /proc/172166/comm /proc/172176/comm /proc/172355/comm /proc/172701/comm /proc/173/comm /proc/173738/comm /proc/173779/comm /proc/173803/comm /proc/173840/comm /proc/173854/comm /proc/173889/comm /proc/173937/comm /proc/173972/comm /proc/174215/comm /proc/174248/comm /proc/174272/comm /proc/174314/comm /proc/174407/comm /proc/174441/comm /proc/174631/comm /proc/174632/comm /proc/174976/comm /proc/175000/comm /proc/176/comm /proc/177808/comm /proc/177809/comm /proc/177819/comm /proc/177900/comm /proc/178/comm /proc/178412/comm /proc/179/comm /proc/179774/comm /proc/179776/comm /proc/18/comm /proc/180868/comm /proc/181/comm /proc/182568/comm /proc/182569/comm /proc/182570/comm /proc/182757/comm /proc/182963/comm /proc/182984/comm /proc/182985/comm /proc/182998/comm /proc/183/comm /proc/183011/comm /proc/183012/comm /proc/183300/comm /proc/183303/comm /proc/183310/comm /proc/183923/comm /proc/184/comm /proc/184278/comm /proc/184503/comm /proc/185082/comm /proc/185099/comm /proc/185120/comm /proc/185414/comm /proc/185481/comm /proc/185654/comm /proc/185665/comm /proc/186/comm /proc/186052/comm /proc/186302/comm /proc/186366/comm /proc/186367/comm /proc/186368/comm /proc/186369/comm /proc/186370/comm /proc/186371/comm /proc/186551/comm /proc/186952/comm /proc/187/comm /proc/187001/comm /proc/187029/comm /proc/187041/comm /proc/187161/comm /proc/187187/comm /proc/187410/comm /proc/187411/comm /proc/187420/comm /proc/187433/comm /proc/187450/comm /proc/187456/comm /proc/187551/comm /proc/187568/comm /proc/187574/comm /proc/187575/comm /proc/187576/comm /proc/18758/comm /proc/18779/comm /proc/188/comm /proc/18800/comm /proc/18827/comm /proc/18844/comm /proc/189/comm /proc/19/comm /proc/190/comm /proc/191/comm /proc/192/comm /proc/193/comm /proc/194/comm /proc/195/comm /proc/197/comm /proc/2/comm /proc/20/comm /proc/21/comm /proc/216/comm /proc/21788/comm /proc/21837/comm /proc/21838/comm /proc/21858/comm /proc/219/comm /proc/22/comm /proc/220/comm /proc/225/comm /proc/24/comm /proc/247/comm /proc/25/comm /proc/25119/comm /proc/25390/comm /proc/25408/comm /proc/25432/comm /proc/25444/comm /proc/26/comm /proc/262/comm /proc/27/comm /proc/28/comm /proc/282/comm /proc/286/comm /proc/287/comm /proc/289/comm /proc/290/comm /proc/29812/comm /proc/3/comm /proc/30/comm /proc/30078/comm /proc/30095/comm /proc/30121/comm /proc/30133/comm /proc/31/comm /proc/311/comm /proc/312/comm /proc/316/comm /proc/317/comm /proc/318/comm /proc/319/comm /proc/32/comm /proc/320/comm /proc/321/comm /proc/322/comm /proc/323/comm /proc/33/comm /proc/34/comm /proc/34351/comm /proc/34617/comm /proc/34635/comm /proc/34659/comm /proc/34671/comm /proc/35339/comm /proc/36/comm /proc/362/comm /proc/37/comm /proc/38/comm /proc/381/comm /proc/39/comm /proc/39203/comm /proc/39205/comm /proc/393/comm /proc/39322/comm /proc/39343/comm /proc/39391/comm /proc/39418/comm /proc/39433/comm /proc/398/comm /proc/4/comm /proc/40/comm /proc/41980/comm /proc/41995/comm /proc/42/comm /proc/42027/comm /proc/42033/comm /proc/42040/comm /proc/42107/comm /proc/42116/comm /proc/42146/comm /proc/42149/comm /proc/42153/comm /proc/42236/comm /proc/42238/comm /proc/42261/comm /proc/42281/comm /proc/42385/comm /proc/42446/comm /proc/42561/comm /proc/42584/comm /proc/42609/comm /proc/43/comm /proc/43411/comm /proc/43436/comm /proc/43513/comm /proc/43537/comm /proc/43562/comm /proc/43876/comm /proc/44/comm /proc/44253/comm /proc/44736/comm /proc/44762/comm /proc/44797/comm /proc/44861/comm /proc/45/comm /proc/45127/comm /proc/45154/comm /proc/45169/comm /proc/45192/comm /proc/452/comm /proc/45225/comm /proc/45243/comm /proc/45598/comm /proc/45623/comm /proc/45690/comm /proc/45741/comm /proc/46/comm /proc/46139/comm /proc/46167/comm /proc/46194/comm /proc/46218/comm /proc/46233/comm /proc/46257/comm /proc/46387/comm /proc/46432/comm /proc/46479/comm /proc/48/comm /proc/48258/comm /proc/48387/comm /proc/48410/comm /proc/48425/comm /proc/48455/comm /proc/48580/comm /proc/48638/comm /proc/48800/comm /proc/48814/comm /proc/48875/comm /proc/49/comm /proc/49182/comm /proc/49206/comm /proc/49281/comm /proc/49304/comm /proc/49765/comm /proc/49789/comm /proc/49875/comm /proc/49945/comm /proc/49990/comm /proc/5/comm /proc/50/comm /proc/50151/comm /proc/50175/comm /proc/50555/comm /proc/50578/comm /proc/50607/comm /proc/50685/comm /proc/50761/comm /proc/50857/comm /proc/50882/comm /proc/50968/comm /proc/51/comm /proc/519/comm /proc/52/comm /proc/52645/comm /proc/52669/comm /proc/52784/comm /proc/52807/comm /proc/52900/comm /proc/52992/comm /proc/53241/comm /proc/53295/comm /proc/53359/comm /proc/54/comm /proc/55/comm /proc/56/comm /proc/57/comm /proc/57302/comm /proc/57326/comm /proc/57943/comm /proc/57970/comm /proc/58/comm /proc/58016/comm /proc/58040/comm /proc/58059/comm /proc/58082/comm /proc/58229/comm /proc/58253/comm /proc/58292/comm /proc/58331/comm /proc/58372/comm /proc/58465/comm /proc/58480/comm /proc/6/comm /proc/60/comm /proc/61/comm /proc/611/comm /proc/615/comm /proc/617/comm /proc/62/comm /proc/624/comm /proc/62442/comm /proc/62475/comm /proc/625/comm /proc/62550/comm /proc/62577/comm /proc/62595/comm /proc/62620/comm /proc/62648/comm /proc/62730/comm /proc/62977/comm /proc/63/comm /proc/63396/comm /proc/63525/comm /proc/63739/comm /proc/63764/comm /proc/63882/comm /proc/63906/comm /proc/63989/comm /proc/63990/comm /proc/64/comm /proc/64002/comm /proc/64003/comm /proc/64015/comm /proc/64039/comm /proc/641/comm /proc/64105/comm /proc/64573/comm /proc/646/comm /proc/64600/comm /proc/64637/comm /proc/64661/comm /proc/64677/comm /proc/64702/comm /proc/64952/comm /proc/64953/comm /proc/65045/comm /proc/65070/comm /proc/65367/comm /proc/65395/comm /proc/65433/comm /proc/65717/comm /proc/65740/comm /proc/65946/comm /proc/65975/comm /proc/65995/comm /proc/65996/comm /proc/65997/comm /proc/65998/comm /proc/65999/comm /proc/66/comm /proc/66240/comm /proc/66266/comm /proc/66503/comm /proc/66570/comm /proc/66888/comm /proc/66990/comm /proc/66999/comm /proc/67/comm /proc/67022/comm /proc/67157/comm /proc/67192/comm /proc/67424/comm /proc/67474/comm /proc/67521/comm /proc/67666/comm /proc/67955/comm /proc/68/comm /proc/68002/comm /proc/68044/comm /proc/68075/comm /proc/68106/comm /proc/68146/comm /proc/68266/comm /proc/68285/comm /proc/68477/comm /proc/68501/comm /proc/68801/comm /proc/68817/comm /proc/68823/comm /proc/68896/comm /proc/68897/comm /proc/68907/comm /proc/69/comm /proc/69342/comm /proc/70/comm /proc/702/comm /proc/705/comm /proc/70509/comm /proc/70533/comm /proc/706/comm /proc/719/comm /proc/72/comm /proc/73/comm /proc/73808/comm /proc/73822/comm /proc/73823/comm /proc/73824/comm /proc/73825/comm /proc/73829/comm /proc/73830/comm /proc/73831/comm /proc/73832/comm /proc/73834/comm /proc/73835/comm /proc/73836/comm /proc/73837/comm /proc/73839/comm /proc/73840/comm /proc/74/comm /proc/74387/comm /proc/75/comm /proc/76/comm /proc/78/comm /proc/79/comm /proc/79985/comm /proc/8/comm /proc/80/comm /proc/80008/comm /proc/80159/comm /proc/80175/comm /proc/80181/comm /proc/80239/comm /proc/80240/comm /proc/80250/comm /proc/80338/comm /proc/81/comm /proc/81558/comm /proc/81582/comm /proc/81905/comm /proc/82/comm /proc/82720/comm /proc/83311/comm /proc/83377/comm /proc/84/comm /proc/85/comm /proc/85098/comm /proc/85223/comm /proc/85235/comm /proc/86/comm /proc/864/comm /proc/86656/comm /proc/86668/comm /proc/87/comm /proc/87479/comm /proc/87503/comm /proc/88/comm /proc/88287/comm /proc/9/comm /proc/90/comm /proc/90896/comm /proc/91/comm /proc/92/comm /proc/9227/comm /proc/9244/comm /proc/9260/comm /proc/92709/comm /proc/93/comm /proc/93281/comm /proc/9343/comm /proc/93594/comm /proc/93619/comm /proc/93780/comm /proc/93798/comm /proc/93822/comm /proc/93947/comm /proc/93948/comm /proc/93994/comm /proc/94/comm /proc/94159/comm /proc/96/comm /proc/97/comm /proc/97406/comm /proc/97583/comm /proc/97606/comm /proc/97627/comm /proc/97651/comm /proc/98/comm /proc/98075/comm /proc/98150/comm /proc/98923/comm /proc/99/comm /proc/9960/comm /proc/self/comm /proc/thread-self/comm
+ '[' -n '' ']'
+ rm -f /var/run/libvirtd.pid
+ [[ -c /dev/kvm ]]
+ chmod 660 /dev/kvm
+ chown root:kvm /dev/kvm
+ CGROUPS=
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/blkio ']'
+ grep -w blkio /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/cpu ']'
+ grep -w cpu /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=cpu,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/devices ']'
+ grep -w devices /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/freezer ']'
+ grep -w freezer /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/hugetlb ']'
+ grep -w hugetlb /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=hugetlb,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/memory ']'
+ grep -w memory /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=memory,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/net_cls ']'
+ grep -w net_cls /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/perf_event ']'
+ grep -w perf_event /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/rdma ']'
+ grep -w rdma /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=rdma,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/misc ']'
+ grep -w misc /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=misc,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/pids ']'
+ grep -w pids /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=pids,
+ cgcreate -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt
++ cat /proc/meminfo
++ grep HugePages_Total
++ tr -cd '[:digit:]'
+ hp_count=0
+ '[' 00 -gt 0 ']'
+ '[' -n 457eb676-33da-42ec-9a8c-9293d545c337 ']'
+ cgexec -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt systemd-run --scope --slice=system libvirtd --listen
++ mktemp --suffix .xml
+ tmpsecret=/tmp/tmp.6N2Ecm6PyP.xml
+ '[' -n '' ']'
+ trap cleanup EXIT
+ TIMEOUT=60
+ [[ ! -f /var/run/libvirtd.pid ]]
+ [[ 60 -gt 0 ]]
+ let TIMEOUT-=1
+ sleep 1
Running as unit: run-r1da4fce6f4f9483286c5d328bad7454d.scope; invocation ID: 79e969232a024c959b5235e63dd770bf
+ [[ ! -f /var/run/libvirtd.pid ]]
+ TIMEOUT=10
+ [[ ! -e /var/run/libvirt/libvirt-sock ]]
+ '[' -z '' ']'
+ '[' -n cinder ']'
++ awk '/key/{print $3}' /etc/ceph/ceph.client.cinder.keyring
+ CEPH_CINDER_KEYRING=AQCl4HpqiiCYBBAA7v0xVHPbIEMIBm6JsYBfNA==
+ '[' -n cinder ']'
+ create_virsh_libvirt_secret cinder 457eb676-33da-42ec-9a8c-9293d545c337 AQCl4HpqiiCYBBAA7v0xVHPbIEMIBm6JsYBfNA==
+ sec_user=cinder
+ sec_uuid=457eb676-33da-42ec-9a8c-9293d545c337
+ sec_ceph_keyring=AQCl4HpqiiCYBBAA7v0xVHPbIEMIBm6JsYBfNA==
+ cat
+ virsh secret-define --file /tmp/tmp.6N2Ecm6PyP.xml
Secret 457eb676-33da-42ec-9a8c-9293d545c337 created

+ virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 AQCl4HpqiiCYBBAA7v0xVHPbIEMIBm6JsYBfNA==
error: Passing secret value as command-line argument is insecure!
Secret value set

+ '[' -n '' ']'
+ '[' -n '' ']'
+ cleanup
+ rm -f /tmp/tmp.6N2Ecm6PyP.xml
+ '[' -n '' ']'
++ cat /var/run/libvirtd.pid
+ LIBVIRTD_PID=187596
+ kill 187596
+ tail --pid=187596 -f /dev/null
+ cgexec -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt systemd-run --scope --slice=system libvirtd --listen
Running as unit: run-r2a976bdf77a246f18928eb9da387c52c.scope; invocation ID: 3517423b4a994ce5a758b085a09fa0de