
<html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /></head><body style='font-size: 10pt; font-family: Verdana,Geneva,sans-serif'>

<p>Hi André,</p>

<p>Thank you for replying!</p>

<div id="signature"></div>

<p>Comments below.</p>

<p><br /></p>

<p id="reply-intro">On 2023-06-22 14:32, André Grüneberg wrote:</p>

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">

<div id="replybody1">

<div dir="ltr">

<div>Are you by any chance using vlan translation or L2 sub-interfaces (with non default VLAN IDs) on your Arista gear?</div>

</div>

</div>

</blockquote>

<div id="replybody1">

<div dir="ltr">

<div> </div>

<div>We have just started using L2 sub-interfaces in the last few months and it seems this has been a problem for longer for this.</div>

<div> </div>

<div>We're aware that traffic on sub-interfaces won't be counted, but that only accounts for a fraction of the discrepancy we are seeing.</div>

<div> </div>

<div>In addition, the member who was reporting inconsistency with their ports and their peers are not using sub-interfaces so that's not a factor there.</div>

<div> </div>

<div> </div>

<div> </div>

</div>

</div>

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">

<div id="replybody1">

<div dir="ltr">

<div>In these cases the sFlow packets contain the VLAN ID on the wire and will not be matched into the right buckets.</div>

<div>We "enhanced" the sflow collector script with some hack to map the VLAN ID. [I may go into details]</div>

</div>

</div>

</blockquote>

<div id="replybody1">

<div dir="ltr">

<div> </div>

<div>As I say, a different problem, but one that's on my list to fix so would be interested in what you did here.</div>

<div> </div>

<div>Presumably it's just a case of extracting VLAN -> VLAN mappings of subinterfaces and substituting that in sflow data as it's processed?</div>

<div> </div>

<div> </div>

<div> </div>

</div>

</div>

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">

<div id="replybody1">

<div dir="ltr">

<div>As far as I can see, you also offer private VLANs. These may also account for some discrepancy between peering VLAN and overall traffic. Unfortunately the private VLAN sFlow statistics are not (correctly) exposed in P2P.</div>

</div>

</div>

</blockquote>

<div id="replybody1">

<div dir="ltr">

<div> </div>

<div>Again, not a factor with this member, but am interested if you've done any work to resolve?</div>

<div> </div>

<div> </div>

</div>

</div>

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">

<div id="replybody1">

<div dir="ltr">

<div>Besides those common issues, it also took us some effort to validate that all peers are being counted "correctly".</div>

</div>

</div>

</blockquote>

<div id="replybody1">

<div dir="ltr">

<div> </div>

<div>Interested to hear more about how you did this? - and did you have to make any further changes to anything?</div>

<div> </div>

<div> </div>

</div>

</div>

<blockquote type="cite" style="padding: 0 0.4em; border-left: #1010ff 2px solid; margin: 0">

<div id="replybody1">

<div dir="ltr">

<div>We believe that our results (<a href="https://www.bcix.de/ixp/statistics/vlan" target="_blank" rel="noopener noreferrer">https://www.bcix.de/ixp/statistics/vlan</a>) are very close to reality.</div>

</div>

</div>

</blockquote>

<p>Interesting! - so right now you're doing 507Gbps according to MRTG and showing 349G (v4) + 72G (v6) = 421G with sflow.</p>

<p>Are you using Arista too? - what sample rate?</p>

<p><br /></p>

<p>I have just found another smoking gun - when running sflow-to-rrd-handler with debug mode, I see a lot of dropped/rejected flows. Some (most?) of these seem to be sub-interfaces, but it turns out that some MACs are not in the discovered macs table, so I need to investigate that further, but now we are using MAC ACLs, we'd probably be better switching to configured macs.</p>

<p>Thanks,</p>

<p>Ian</p>

<p><br /></p>

<div id="replybody1">

<div class="v1gmail_signature" dir="ltr">

<div dir="ltr">

<div>

<div dir="ltr">

<div>

<div dir="ltr">

<div>

<div dir="ltr">

<div>

<div dir="ltr"> </div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</div>

</body></html>