<div dir="ltr"><div><div>Hello Jan,<br><br></div>Thanks very much for your help :), i will try to read the patches you posted<br><br></div>Emmanuel<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">2014-05-05 16:14 GMT+02:00 Jan Friesse <span dir="ltr">&lt;<a href="mailto:jfriesse@redhat.com" target="_blank">jfriesse@redhat.com</a>&gt;</span>:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Emmanuel,<br>
<br>
emmanuel segura napsal(a):<br>
<div class="">&gt; Helllo Jan,<br>
&gt;<br>
&gt; I&#39;m using corosync+pacemaker on Sles 11 Sp1 and this is a critical system,<br>
<br>
</div>Oh, ok.<br>
<div class=""><br>
&gt; i don&#39;t think i&#39;ll get the authorization for upgrade system, but i would<br>
&gt; like to know if there is any bug about this issue in my current corosync<br>
&gt; release.<br>
<br>
</div>This is hard to say. Suse guys probably included many patches, so it<br>
would make sense to try to contact Suse support.<br>
<br>
After very very quick look to git, following patches may be related:<br>
559d4083ed8355fe83f275e53b9c8f52a91694b2,<br>
02c5dffa5bb8579c223006fa1587de9ba7409a3d,<br>
64d0e5ace025cc929e42896c5d6beb3ef75b8244,<br>
6fae42ba72006941c1fde99616ea30f4f10ebb38,<br>
c7e686181bcd0e975b09725502bef02c7d0c338a.<br>
<br>
But still keep in mind that between latest 1.3.6 (what I believe is more<br>
or less what you are using) and current origin/flatiron are 118 patches...<br>
<br>
Regards,<br>
  Honza<br>
<div class="HOEnZb"><div class="h5"><br>
&gt;<br>
&gt; Thanks<br>
&gt; Emmanuel<br>
&gt;<br>
&gt;<br>
&gt; 2014-04-30 17:07 GMT+02:00 Jan Friesse &lt;<a href="mailto:jfriesse@redhat.com">jfriesse@redhat.com</a>&gt;:<br>
&gt;<br>
&gt;&gt; Emmanuel,<br>
&gt;&gt;<br>
&gt;&gt; emmanuel segura napsal(a):<br>
&gt;&gt;&gt; Hello Jan,<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Thanks for the explanation, but i saw this in my log.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt; ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; corosync [TOTEM ] Process pause detected for 577 ms, flushing membership<br>
&gt;&gt;&gt; messages.<br>
&gt;&gt;&gt; corosync [TOTEM ] Process pause detected for 538 ms, flushing membership<br>
&gt;&gt;&gt; messages.<br>
&gt;&gt;&gt; corosync [TOTEM ] A processor failed, forming new configuration.<br>
&gt;&gt;&gt; corosync [CLM   ] CLM CONFIGURATION CHANGE<br>
&gt;&gt;&gt; corosync [CLM   ] New Configuration:<br>
&gt;&gt;&gt; corosync [CLM   ]       r(0) ip(10.xxx.xxx.xxx)<br>
&gt;&gt;&gt; corosync [CLM   ] Members Left:<br>
&gt;&gt;&gt; corosync [CLM   ]       r(0) ip(10.xxx.xxx.xxx)<br>
&gt;&gt;&gt; corosync [CLM   ] Members Joined:<br>
&gt;&gt;&gt; corosync [pcmk  ] notice: pcmk_peer_update: Transitional membership event<br>
&gt;&gt;&gt; on ring 6904: memb=1, new=0, lost=1<br>
&gt;&gt;&gt; corosync [pcmk  ] info: pcmk_peer_update: memb: node01 891257354<br>
&gt;&gt;&gt; corosync [pcmk  ] info: pcmk_peer_update: lost: node02 874480<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt; :::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; when this happen, corosync needs to retransmit the toten?<br>
&gt;&gt;&gt; from what i understood the toten need to be retransmit, but in my case a<br>
&gt;&gt;&gt; new configuration was formed<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; This my corosync version<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; corosync-1.3.3-0.3.1<br>
&gt;&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; 1.3.3 is unsupported for ages. Please upgrade to newest 1.4.6 (if you<br>
&gt;&gt; are using cman) or 2.3.3 (if you are not using cman). Also please change<br>
&gt;&gt; your pacemaker to not use plugin (upgrade to 2.3.3 will solve it<br>
&gt;&gt; automatically, because plugins in corosync 2.x are no longer support).<br>
&gt;&gt;<br>
&gt;&gt; Regards,<br>
&gt;&gt;   Honza<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;&gt; Thanks<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; 2014-04-30 9:42 GMT+02:00 Jan Friesse &lt;<a href="mailto:jfriesse@redhat.com">jfriesse@redhat.com</a>&gt;:<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; Emmanuel,<br>
&gt;&gt;&gt;&gt; there is no need to trigger fencing on &quot;Process pause detected...&quot;.<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; Also fencing is not triggered if membership didn&#39;t changed. So let&#39;s say<br>
&gt;&gt;&gt;&gt; token was lost but during gather state all nodes replied, then there is<br>
&gt;&gt;&gt;&gt; no change of membership and no need to fence.<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; I believe your situation was:<br>
&gt;&gt;&gt;&gt; - one node is little overloaded<br>
&gt;&gt;&gt;&gt; - token lost<br>
&gt;&gt;&gt;&gt; - overload over<br>
&gt;&gt;&gt;&gt; - gather state<br>
&gt;&gt;&gt;&gt; - every node is alive<br>
&gt;&gt;&gt;&gt; -&gt; no fencing<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; Regards,<br>
&gt;&gt;&gt;&gt;   Honza<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; emmanuel segura napsal(a):<br>
&gt;&gt;&gt;&gt;&gt; Hello Jan,<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; Forget the last mail:<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; Hello Jan,<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; I found this problem in two hp blade system and the strange thing is<br>
&gt;&gt; the<br>
&gt;&gt;&gt;&gt;&gt; fencing was not triggered :(, but it&#39;s enabled<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; 2014-04-25 18:36 GMT+02:00 emmanuel segura &lt;<a href="mailto:emi2fast@gmail.com">emi2fast@gmail.com</a>&gt;:<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Hello Jan,<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; I found this problem in two hp blade system and the strange thing is<br>
&gt;&gt; the<br>
&gt;&gt;&gt;&gt;&gt;&gt; fencing was triggered :(<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; 2014-04-25 9:27 GMT+02:00 Jan Friesse &lt;<a href="mailto:jfriesse@redhat.com">jfriesse@redhat.com</a>&gt;:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Emanuel,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; emmanuel segura napsal(a):<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;  Hello List,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; I have this two lines in my cluster logs, somebody can help to know<br>
&gt;&gt;&gt;&gt; what<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; this means.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ::::::::::::::<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; corosync [TOTEM ] Process pause detected for 577 ms, flushing<br>
&gt;&gt;&gt;&gt; membership<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; messages.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; corosync [TOTEM ] Process pause detected for 538 ms, flushing<br>
&gt;&gt;&gt;&gt; membership<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; messages.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Corosync internally checks gap between member join messages. If such<br>
&gt;&gt;&gt;&gt; gap<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; is &gt; token/2, it means, that corosync was not scheduled to run by<br>
&gt;&gt;&gt;&gt; kernel<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; for too long, and it should discard membership messages.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Original intend was to detect paused process. If pause is detected,<br>
&gt;&gt;&gt;&gt; it&#39;s<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; better to discard old membership messages and initiate new query then<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; sending outdated view.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; So there are various reasons why this is triggered, but today it&#39;s<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; usually VM with overloaded host machine.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;  corosync [TOTEM ] A processor failed, forming new configuration.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; ::::::::::::::<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; I know the &quot;corosync [TOTEM ] A processor failed, forming new<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; configuration&quot; message is when the toten package is definitely lost.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Regards,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;   Honza<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Pacemaker mailing list: <a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; <a href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Getting started:<br>
&gt;&gt;&gt;&gt; <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Pacemaker mailing list: <a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; <a href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Getting started:<br>
&gt;&gt;&gt;&gt; <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; --<br>
&gt;&gt;&gt;&gt;&gt;&gt; esta es mi vida e me la vivo hasta que dios quiera<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt;&gt;&gt; Pacemaker mailing list: <a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt;&gt; <a href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt;&gt; Getting started:<br>
&gt;&gt; <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
&gt;&gt;&gt;&gt;&gt; Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt;&gt; Pacemaker mailing list: <a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt; <a href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt; Getting started:<br>
&gt;&gt; <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
&gt;&gt;&gt;&gt; Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt; Pacemaker mailing list: <a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
&gt;&gt;&gt; <a href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>
&gt;&gt;&gt; Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
&gt;&gt;&gt; Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br>
&gt;&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; Pacemaker mailing list: <a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
&gt;&gt; <a href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
&gt;&gt;<br>
&gt;&gt; Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>
&gt;&gt; Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
&gt;&gt; Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br>
&gt;&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; Pacemaker mailing list: <a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
&gt; <a href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
&gt;<br>
&gt; Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>
&gt; Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
&gt; Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br>
&gt;<br>
<br>
<br>
_______________________________________________<br>
Pacemaker mailing list: <a href="mailto:Pacemaker@oss.clusterlabs.org">Pacemaker@oss.clusterlabs.org</a><br>
<a href="http://oss.clusterlabs.org/mailman/listinfo/pacemaker" target="_blank">http://oss.clusterlabs.org/mailman/listinfo/pacemaker</a><br>
<br>
Project Home: <a href="http://www.clusterlabs.org" target="_blank">http://www.clusterlabs.org</a><br>
Getting started: <a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf" target="_blank">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a><br>
Bugs: <a href="http://bugs.clusterlabs.org" target="_blank">http://bugs.clusterlabs.org</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>esta es mi vida e me la vivo hasta que dios quiera
</div>