<br><br><div class="gmail_quote">2012/4/18 Andreas Kurz <span dir="ltr">&lt;<a href="mailto:andreas@hastexo.com">andreas@hastexo.com</a>&gt;</span><br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
On 04/17/2012 09:31 PM, ruslan usifov wrote:<br>
&gt;<br>
&gt;<br>
&gt; 2012/4/17 Proskurin Kirill &lt;<a href="mailto:k.proskurin@corp.mail.ru">k.proskurin@corp.mail.ru</a><br>
&gt; &lt;mailto:<a href="mailto:k.proskurin@corp.mail.ru">k.proskurin@corp.mail.ru</a>&gt;&gt;<br>
<div class="im">&gt;<br>
&gt;     On 04/17/2012 03:46 PM, ruslan usifov wrote:<br>
&gt;<br>
&gt;         2012/4/17 Andreas Kurz &lt;<a href="mailto:andreas@hastexo.com">andreas@hastexo.com</a><br>
</div>&gt;         &lt;mailto:<a href="mailto:andreas@hastexo.com">andreas@hastexo.com</a>&gt; &lt;mailto:<a href="mailto:andreas@hastexo.com">andreas@hastexo.com</a><br>
<div><div class="h5">&gt;         &lt;mailto:<a href="mailto:andreas@hastexo.com">andreas@hastexo.com</a>&gt;&gt;&gt;<br>
&gt;<br>
&gt;<br>
&gt;            On 04/14/2012 11:14 PM, ruslan usifov wrote:<br>
&gt;             &gt; Hello<br>
&gt;             &gt;<br>
&gt;             &gt; I remove 2 nodes from cluster, with follow sequence:<br>
&gt;             &gt;<br>
&gt;             &gt; crm_node --force -R &lt;id of node1&gt;<br>
&gt;             &gt; crm_node --force -R &lt;id of node2&gt;<br>
&gt;             &gt; cibadmin --delete --obj_type nodes --crm_xml &#39;&lt;node<br>
&gt;         uname=&quot;node1&quot;/&gt;&#39;<br>
&gt;             &gt; cibadmin --delete --obj_type status --crm_xml &#39;&lt;node_state<br>
&gt;            uname=&quot;node1&quot;/&gt;&#39;<br>
&gt;             &gt; cibadmin --delete --obj_type nodes --crm_xml &#39;&lt;node<br>
&gt;         uname=&quot;node2&quot;/&gt;&#39;<br>
&gt;             &gt; cibadmin --delete --obj_type status --crm_xml &#39;&lt;node_state<br>
&gt;            uname=&quot;node2&quot;/&gt;&#39;<br>
&gt;             &gt;<br>
&gt;             &gt;<br>
&gt;             &gt; Nodes after this deleted, but if for example i restart<br>
&gt;         (reboot)<br>
&gt;            one of<br>
&gt;             &gt; existent nodes in working cluster, this deleted nodes<br>
&gt;         appear again in<br>
&gt;             &gt; OFFLINE state<br>
&gt;<br>
&gt;<br>
&gt;     I have this problem some time ago.<br>
&gt;     I &quot;solved&quot; it something like that:<br>
&gt;<br>
&gt;     crm node delete NODENAME<br>
&gt;     crm_node --force --remove NODENAME<br>
&gt;     cibadmin --delete --obj_type nodes --crm_xml &#39;&lt;node uname=&quot;NODENAME&quot;/&gt;&#39;<br>
&gt;     cibadmin --delete --obj_type status --crm_xml &#39;&lt;node_state<br>
&gt;     uname=&quot;NODENAME&quot;/&gt;&#39;<br>
&gt;<br>
&gt;     --<br>
&gt;<br>
&gt;<br>
&gt; I do the same, but some times after cluster reconfiguration (node failed<br>
&gt; due power supply failure) removed nodes appear again, and this happens<br>
&gt; 3-4 times<br>
<br>
</div></div>And the same behavior if you switch your cluster into maintenance-mode<br>
(to avoid service downtime) and stop/start pacemaker and corosync<br>
completely?<br>
<div class="im HOEnZb"><br></div></blockquote></div><br>We will have maintenance window at this Friday (20.04.2012) so after that i can report more info.<br><br>PS: I had similar situation on other cluster some times ago, and there i fully restart cluster and problem reproduced. But after some time(about 1-2 week) not existent nodes have ceased to appear<br>