+ wait_for_file /etc/pki/CA/cacert.pem
+ local file=/etc/pki/CA/cacert.pem
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ sleep 1
+ '[' '!' -f /etc/pki/CA/cacert.pem ']'
+ wait_for_file /etc/pki/qemu/ca-cert.pem
+ local file=/etc/pki/qemu/ca-cert.pem
+ '[' '!' -f /etc/pki/qemu/ca-cert.pem ']'
+ wait_for_file /etc/pki/libvirt/servercert.pem
+ local file=/etc/pki/libvirt/servercert.pem
+ '[' '!' -f /etc/pki/libvirt/servercert.pem ']'
+ wait_for_file /etc/pki/libvirt/clientcert.pem
+ local file=/etc/pki/libvirt/clientcert.pem
+ '[' '!' -f /etc/pki/libvirt/clientcert.pem ']'
+ wait_for_file /etc/pki/qemu/server-cert.pem
+ local file=/etc/pki/qemu/server-cert.pem
+ '[' '!' -f /etc/pki/qemu/server-cert.pem ']'
+ wait_for_file /etc/pki/qemu/client-cert.pem
+ local file=/etc/pki/qemu/client-cert.pem
+ '[' '!' -f /etc/pki/qemu/client-cert.pem ']'
+ wait_for_file /etc/pki/libvirt/private/serverkey.pem
+ local file=/etc/pki/libvirt/private/serverkey.pem
+ '[' '!' -f /etc/pki/libvirt/private/serverkey.pem ']'
+ wait_for_file /etc/pki/libvirt/private/clientkey.pem
+ local file=/etc/pki/libvirt/private/clientkey.pem
+ '[' '!' -f /etc/pki/libvirt/private/clientkey.pem ']'
+ wait_for_file /etc/pki/qemu/server-key.pem
+ local file=/etc/pki/qemu/server-key.pem
+ '[' '!' -f /etc/pki/qemu/server-key.pem ']'
+ wait_for_file /etc/pki/qemu/client-key.pem
+ local file=/etc/pki/qemu/client-key.pem
+ '[' '!' -f /etc/pki/qemu/client-key.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/ca-cert.pem
+ local file=/etc/pki/libvirt-vnc/ca-cert.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/ca-cert.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/server-cert.pem
+ local file=/etc/pki/libvirt-vnc/server-cert.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/server-cert.pem ']'
+ wait_for_file /etc/pki/libvirt-vnc/server-key.pem
+ local file=/etc/pki/libvirt-vnc/server-key.pem
+ '[' '!' -f /etc/pki/libvirt-vnc/server-key.pem ']'
++ grep -w libvirtd
++ cat /proc/1/comm /proc/10/comm /proc/100/comm /proc/100847/comm /proc/100878/comm /proc/100971/comm /proc/101009/comm /proc/101344/comm /proc/101371/comm /proc/101429/comm /proc/102/comm /proc/102359/comm /proc/102360/comm /proc/103/comm /proc/103740/comm /proc/104/comm /proc/105/comm /proc/106/comm /proc/10660/comm /proc/10677/comm /proc/10693/comm /proc/107003/comm /proc/10776/comm /proc/108/comm /proc/1087/comm /proc/109/comm /proc/11/comm /proc/110/comm /proc/110122/comm /proc/111/comm /proc/112/comm /proc/113/comm /proc/11394/comm /proc/114/comm /proc/114650/comm /proc/114676/comm /proc/115/comm /proc/115044/comm /proc/115057/comm /proc/115058/comm /proc/116/comm /proc/116178/comm /proc/116202/comm /proc/116222/comm /proc/116245/comm /proc/116528/comm /proc/116637/comm /proc/116876/comm /proc/116878/comm /proc/117/comm /proc/117160/comm /proc/11766/comm /proc/117879/comm /proc/118040/comm /proc/118214/comm /proc/118239/comm /proc/118350/comm /proc/118367/comm /proc/118373/comm /proc/118425/comm /proc/118427/comm /proc/118428/comm /proc/118454/comm /proc/118693/comm /proc/119920/comm /proc/12/comm /proc/120067/comm /proc/120094/comm /proc/120116/comm /proc/120154/comm /proc/12281/comm /proc/12282/comm /proc/122893/comm /proc/125620/comm /proc/126853/comm /proc/127932/comm /proc/128833/comm /proc/128846/comm /proc/129875/comm /proc/13/comm /proc/130351/comm /proc/130365/comm /proc/130366/comm /proc/132168/comm /proc/13672/comm /proc/13701/comm /proc/13749/comm /proc/13782/comm /proc/13794/comm /proc/14/comm /proc/14032/comm /proc/14062/comm /proc/14117/comm /proc/14143/comm /proc/14162/comm /proc/1420/comm /proc/143112/comm /proc/143771/comm /proc/143794/comm /proc/143890/comm /proc/143913/comm /proc/144497/comm /proc/144938/comm /proc/145135/comm /proc/145825/comm /proc/145911/comm /proc/146508/comm /proc/146532/comm /proc/147868/comm /proc/148964/comm /proc/15/comm /proc/150749/comm /proc/150776/comm /proc/152258/comm /proc/152297/comm /proc/152298/comm /proc/153813/comm /proc/153814/comm /proc/16/comm /proc/160936/comm /proc/160937/comm /proc/160939/comm /proc/160940/comm /proc/161070/comm /proc/161692/comm /proc/161717/comm /proc/162085/comm /proc/162134/comm /proc/162168/comm /proc/162181/comm /proc/162213/comm /proc/162214/comm /proc/162215/comm /proc/162216/comm /proc/162472/comm /proc/162654/comm /proc/162678/comm /proc/163406/comm /proc/163485/comm /proc/163486/comm /proc/163502/comm /proc/163503/comm /proc/163662/comm /proc/163686/comm /proc/163776/comm /proc/163813/comm /proc/164069/comm /proc/164078/comm /proc/164114/comm /proc/164134/comm /proc/164182/comm /proc/164201/comm /proc/164296/comm /proc/164340/comm /proc/164442/comm /proc/164470/comm /proc/164791/comm /proc/165/comm /proc/165060/comm /proc/165068/comm /proc/165546/comm /proc/165678/comm /proc/165701/comm /proc/165941/comm /proc/165960/comm /proc/165966/comm /proc/166/comm /proc/166025/comm /proc/166026/comm /proc/166036/comm /proc/166216/comm /proc/167/comm /proc/167864/comm /proc/167889/comm /proc/167973/comm /proc/168/comm /proc/168056/comm /proc/168079/comm /proc/168094/comm /proc/168117/comm /proc/168216/comm /proc/168247/comm /proc/168279/comm /proc/168302/comm /proc/168339/comm /proc/168359/comm /proc/168418/comm /proc/168815/comm /proc/168839/comm /proc/169/comm /proc/170/comm /proc/171/comm /proc/172/comm /proc/172055/comm /proc/173/comm /proc/174107/comm /proc/174163/comm /proc/174188/comm /proc/174731/comm /proc/174779/comm /proc/174807/comm /proc/176192/comm /proc/176212/comm /proc/177/comm /proc/177474/comm /proc/177513/comm /proc/177529/comm /proc/177603/comm /proc/179/comm /proc/179392/comm /proc/179811/comm /proc/179849/comm /proc/179850/comm /proc/179851/comm /proc/179914/comm /proc/179928/comm /proc/179929/comm /proc/18/comm /proc/180/comm /proc/180652/comm /proc/180653/comm /proc/180861/comm /proc/180900/comm /proc/180912/comm /proc/180924/comm /proc/181058/comm /proc/181059/comm /proc/181167/comm /proc/181179/comm /proc/181781/comm /proc/181783/comm /proc/181881/comm /proc/181904/comm /proc/182107/comm /proc/182124/comm /proc/182130/comm /proc/182191/comm /proc/182192/comm /proc/182202/comm /proc/182378/comm /proc/183/comm /proc/183760/comm /proc/183793/comm /proc/183795/comm /proc/183834/comm /proc/183901/comm /proc/184/comm /proc/184010/comm /proc/184027/comm /proc/184108/comm /proc/184147/comm /proc/184173/comm /proc/184237/comm /proc/184272/comm /proc/184416/comm /proc/184792/comm /proc/184827/comm /proc/184840/comm /proc/185/comm /proc/186/comm /proc/187/comm /proc/187748/comm /proc/187770/comm /proc/188/comm /proc/189/comm /proc/189362/comm /proc/189386/comm /proc/189547/comm /proc/189921/comm /proc/189934/comm /proc/189991/comm /proc/19/comm /proc/190074/comm /proc/190108/comm /proc/190173/comm /proc/190184/comm /proc/190225/comm /proc/190226/comm /proc/190227/comm /proc/190228/comm /proc/190462/comm /proc/190470/comm /proc/190490/comm /proc/191/comm /proc/193979/comm /proc/193980/comm /proc/193981/comm /proc/194098/comm /proc/194253/comm /proc/194277/comm /proc/194278/comm /proc/194310/comm /proc/194325/comm /proc/194326/comm /proc/194329/comm /proc/194446/comm /proc/194651/comm /proc/194751/comm /proc/194986/comm /proc/195037/comm /proc/195085/comm /proc/195111/comm /proc/195333/comm /proc/195336/comm /proc/195339/comm /proc/195395/comm /proc/195409/comm /proc/195414/comm /proc/195415/comm /proc/195416/comm /proc/195417/comm /proc/2/comm /proc/20/comm /proc/20025/comm /proc/20043/comm /proc/20064/comm /proc/20092/comm /proc/20109/comm /proc/202/comm /proc/203/comm /proc/204/comm /proc/21/comm /proc/213/comm /proc/216/comm /proc/217/comm /proc/22/comm /proc/222/comm /proc/23039/comm /proc/23107/comm /proc/23108/comm /proc/23121/comm /proc/24/comm /proc/244/comm /proc/25/comm /proc/26/comm /proc/26376/comm /proc/264/comm /proc/26640/comm /proc/26657/comm /proc/26681/comm /proc/26693/comm /proc/27/comm /proc/28/comm /proc/2820/comm /proc/286/comm /proc/289/comm /proc/290/comm /proc/291/comm /proc/292/comm /proc/2968/comm /proc/2969/comm /proc/2970/comm /proc/2971/comm /proc/2975/comm /proc/3/comm /proc/30/comm /proc/3042/comm /proc/3046/comm /proc/3055/comm /proc/31/comm /proc/311/comm /proc/31159/comm /proc/312/comm /proc/31424/comm /proc/31441/comm /proc/31466/comm /proc/31478/comm /proc/316/comm /proc/317/comm /proc/318/comm /proc/319/comm /proc/32/comm /proc/320/comm /proc/321/comm /proc/322/comm /proc/323/comm /proc/325/comm /proc/33/comm /proc/34/comm /proc/35856/comm /proc/36/comm /proc/36121/comm /proc/36138/comm /proc/36162/comm /proc/36174/comm /proc/364/comm /proc/36675/comm /proc/37/comm /proc/38/comm /proc/39/comm /proc/395/comm /proc/398/comm /proc/4/comm /proc/40/comm /proc/401/comm /proc/40474/comm /proc/40476/comm /proc/40552/comm /proc/40574/comm /proc/40600/comm /proc/40627/comm /proc/40666/comm /proc/42/comm /proc/43/comm /proc/43126/comm /proc/43148/comm /proc/43175/comm /proc/43205/comm /proc/43210/comm /proc/43225/comm /proc/43226/comm /proc/43295/comm /proc/43298/comm /proc/43299/comm /proc/43326/comm /proc/43400/comm /proc/43411/comm /proc/43451/comm /proc/43466/comm /proc/43552/comm /proc/43623/comm /proc/43720/comm /proc/43746/comm /proc/43772/comm /proc/44/comm /proc/44496/comm /proc/44516/comm /proc/44541/comm /proc/44558/comm /proc/44821/comm /proc/45/comm /proc/45032/comm /proc/45119/comm /proc/453/comm /proc/45411/comm /proc/45859/comm /proc/45882/comm /proc/45911/comm /proc/46/comm /proc/46275/comm /proc/46301/comm /proc/46322/comm /proc/46345/comm /proc/46364/comm /proc/46412/comm /proc/46790/comm /proc/46812/comm /proc/47024/comm /proc/47293/comm /proc/47317/comm /proc/47335/comm /proc/47363/comm /proc/47394/comm /proc/47418/comm /proc/47525/comm /proc/47570/comm /proc/47617/comm /proc/48/comm /proc/49/comm /proc/49446/comm /proc/49484/comm /proc/49566/comm /proc/49589/comm /proc/49967/comm /proc/49980/comm /proc/5/comm /proc/50/comm /proc/50012/comm /proc/50108/comm /proc/50452/comm /proc/50475/comm /proc/50553/comm /proc/50578/comm /proc/50627/comm /proc/50749/comm /proc/50915/comm /proc/50938/comm /proc/51/comm /proc/51057/comm /proc/51208/comm /proc/51231/comm /proc/51593/comm /proc/51616/comm /proc/51729/comm /proc/51806/comm /proc/519/comm /proc/51902/comm /proc/51931/comm /proc/51977/comm /proc/52/comm /proc/52070/comm /proc/53042/comm /proc/53863/comm /proc/53887/comm /proc/54/comm /proc/54043/comm /proc/54066/comm /proc/54097/comm /proc/54227/comm /proc/54392/comm /proc/54482/comm /proc/55/comm /proc/56/comm /proc/57/comm /proc/58/comm /proc/58893/comm /proc/59256/comm /proc/59281/comm /proc/59927/comm /proc/59951/comm /proc/59980/comm /proc/6/comm /proc/60/comm /proc/60012/comm /proc/60036/comm /proc/60061/comm /proc/60281/comm /proc/60306/comm /proc/60356/comm /proc/60393/comm /proc/60431/comm /proc/60535/comm /proc/61/comm /proc/612/comm /proc/616/comm /proc/61685/comm /proc/618/comm /proc/62/comm /proc/627/comm /proc/628/comm /proc/63/comm /proc/64/comm /proc/644/comm /proc/646/comm /proc/65086/comm /proc/65267/comm /proc/65332/comm /proc/65410/comm /proc/65431/comm /proc/65459/comm /proc/65471/comm /proc/65487/comm /proc/65526/comm /proc/65711/comm /proc/65845/comm /proc/65860/comm /proc/66/comm /proc/66048/comm /proc/66074/comm /proc/66201/comm /proc/66302/comm /proc/66303/comm /proc/66306/comm /proc/66308/comm /proc/66432/comm /proc/66435/comm /proc/66437/comm /proc/66609/comm /proc/67/comm /proc/67145/comm /proc/67172/comm /proc/67209/comm /proc/67233/comm /proc/67300/comm /proc/67347/comm /proc/67489/comm /proc/67518/comm /proc/67601/comm /proc/67624/comm /proc/67730/comm /proc/67753/comm /proc/67979/comm /proc/68/comm /proc/68117/comm /proc/68145/comm /proc/68271/comm /proc/68296/comm /proc/68331/comm /proc/68356/comm /proc/68357/comm /proc/68358/comm /proc/68359/comm /proc/68360/comm /proc/68461/comm /proc/68741/comm /proc/68813/comm /proc/68973/comm /proc/68999/comm /proc/69/comm /proc/69081/comm /proc/69748/comm /proc/69785/comm /proc/70/comm /proc/70006/comm /proc/70027/comm /proc/70129/comm /proc/70166/comm /proc/70341/comm /proc/70386/comm /proc/70416/comm /proc/70510/comm /proc/706/comm /proc/70705/comm /proc/70746/comm /proc/709/comm /proc/70997/comm /proc/710/comm /proc/71031/comm /proc/71069/comm /proc/71117/comm /proc/71334/comm /proc/71357/comm /proc/71466/comm /proc/71491/comm /proc/71880/comm /proc/71897/comm /proc/71904/comm /proc/71952/comm /proc/71953/comm /proc/71963/comm /proc/72/comm /proc/72130/comm /proc/723/comm /proc/73/comm /proc/73237/comm /proc/73261/comm /proc/74/comm /proc/74054/comm /proc/75/comm /proc/75380/comm /proc/75382/comm /proc/76/comm /proc/76779/comm /proc/76794/comm /proc/76795/comm /proc/76796/comm /proc/76797/comm /proc/76799/comm /proc/76800/comm /proc/76802/comm /proc/76804/comm /proc/76805/comm /proc/76808/comm /proc/76809/comm /proc/76810/comm /proc/76811/comm /proc/76813/comm /proc/78/comm /proc/79/comm /proc/8/comm /proc/80/comm /proc/81/comm /proc/82/comm /proc/82735/comm /proc/82759/comm /proc/82963/comm /proc/82979/comm /proc/82985/comm /proc/83032/comm /proc/83033/comm /proc/83043/comm /proc/83107/comm /proc/84/comm /proc/84280/comm /proc/84305/comm /proc/85/comm /proc/86/comm /proc/868/comm /proc/87/comm /proc/88/comm /proc/89779/comm /proc/89794/comm /proc/9/comm /proc/90/comm /proc/90628/comm /proc/90653/comm /proc/91/comm /proc/91592/comm /proc/92/comm /proc/93/comm /proc/94/comm /proc/96/comm /proc/97/comm /proc/97684/comm /proc/97707/comm /proc/97995/comm /proc/98/comm /proc/98014/comm /proc/98020/comm /proc/98114/comm /proc/98115/comm /proc/98125/comm /proc/98341/comm /proc/99/comm /proc/self/comm /proc/thread-self/comm
+ '[' -n '' ']'
+ rm -f /var/run/libvirtd.pid
+ [[ -c /dev/kvm ]]
+ chmod 660 /dev/kvm
+ chown root:kvm /dev/kvm
+ CGROUPS=
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/blkio ']'
+ grep -w blkio /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/cpu ']'
+ grep -w cpu /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=cpu,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/devices ']'
+ grep -w devices /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/freezer ']'
+ grep -w freezer /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/hugetlb ']'
+ grep -w hugetlb /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=hugetlb,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/memory ']'
+ grep -w memory /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=memory,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/net_cls ']'
+ grep -w net_cls /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/perf_event ']'
+ grep -w perf_event /sys/fs/cgroup/cgroup.controllers
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/rdma ']'
+ grep -w rdma /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=rdma,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/misc ']'
+ grep -w misc /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=misc,
+ for CGROUP in blkio cpu devices freezer hugetlb memory net_cls perf_event rdma misc pids
+ '[' -d /sys/fs/cgroup/pids ']'
+ grep -w pids /sys/fs/cgroup/cgroup.controllers
cpuset cpu io memory hugetlb pids rdma misc
+ CGROUPS+=pids,
+ cgcreate -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt
++ cat /proc/meminfo
++ grep HugePages_Total
++ tr -cd '[:digit:]'
+ hp_count=0
+ '[' 00 -gt 0 ']'
+ '[' -n 457eb676-33da-42ec-9a8c-9293d545c337 ']'
+ cgexec -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt systemd-run --scope --slice=system libvirtd --listen
++ mktemp --suffix .xml
+ tmpsecret=/tmp/tmp.ljjg8F980b.xml
+ '[' -n '' ']'
+ trap cleanup EXIT
+ TIMEOUT=60
+ [[ ! -f /var/run/libvirtd.pid ]]
+ [[ 60 -gt 0 ]]
+ let TIMEOUT-=1
+ sleep 1
Running as unit: run-r46fb3a4fc0cb4051bc8bae1c8a7cf7e0.scope; invocation ID: 9454c4c89db34d8889382188bf97c4d0
+ [[ ! -f /var/run/libvirtd.pid ]]
+ TIMEOUT=10
+ [[ ! -e /var/run/libvirt/libvirt-sock ]]
+ '[' -z '' ']'
+ '[' -n cinder ']'
++ awk '/key/{print $3}' /etc/ceph/ceph.client.cinder.keyring
+ CEPH_CINDER_KEYRING=AQB7fdVqKZX/JRAALqEjUqOgvOiS6GgKEA0zXw==
+ '[' -n cinder ']'
+ create_virsh_libvirt_secret cinder 457eb676-33da-42ec-9a8c-9293d545c337 AQB7fdVqKZX/JRAALqEjUqOgvOiS6GgKEA0zXw==
+ sec_user=cinder
+ sec_uuid=457eb676-33da-42ec-9a8c-9293d545c337
+ sec_ceph_keyring=AQB7fdVqKZX/JRAALqEjUqOgvOiS6GgKEA0zXw==
+ cat
+ virsh secret-define --file /tmp/tmp.ljjg8F980b.xml
Secret 457eb676-33da-42ec-9a8c-9293d545c337 created

+ virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 AQB7fdVqKZX/JRAALqEjUqOgvOiS6GgKEA0zXw==
error: Passing secret value as command-line argument is insecure!
Secret value set

+ '[' -n '' ']'
+ '[' -n '' ']'
+ cleanup
+ rm -f /tmp/tmp.ljjg8F980b.xml
+ '[' -n '' ']'
++ cat /var/run/libvirtd.pid
+ LIBVIRTD_PID=195439
+ kill 195439
+ tail --pid=195439 -f /dev/null
+ cgexec -g cpu,hugetlb,memory,rdma,misc,pids:/osh-libvirt systemd-run --scope --slice=system libvirtd --listen
Running as unit: run-rbb80ed6cd956473381721768a0600b84.scope; invocation ID: 57e44847bef54101869bcd0158a7dd54