<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:Helvetica;
        panose-1:2 11 6 4 2 2 2 2 2 4;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"Trebuchet MS";
        panose-1:2 11 6 3 2 2 2 2 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.EmailStyle22
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:935291534;
        mso-list-type:hybrid;
        mso-list-template-ids:744621442 67698703 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l0:level1
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level2
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level3
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level4
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level5
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level6
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
@list l0:level7
        {mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level8
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-.25in;}
@list l0:level9
        {mso-level-number-format:roman-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:right;
        text-indent:-9.0pt;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="#0563C1" vlink="purple" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal">Matt,<o:p></o:p></p>
<p class="MsoNormal">I have some smaller comments below but I wanted to raise a couple of “big picture” comments first:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<ol style="margin-top:0in" start="1" type="1">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level1 lfo1">Although we state in the Conclusion section that name collisions are a risk management problem, it is not actually clear in other sections where we are answering questions that we
 have a handle on criteria to be measured for making the risk assessment in a proactive manner.  We make some general references to “high volume and/or high diversity of queries and query names” as well as  “high metrics”   on page 12 but we don’t say what
 we mean by those terms.  It’s important to note that not everyone on the Board possesses a technical understanding of “high volume”, “high diversity” or “high metrics”.  I think we have to explain or give examples  of what these terms mean and we have to say
 that we are developing the metrics in Study 2 in connection with a proposal for measuring name collision risk pro-actively.<o:p></o:p></li></ol>
<p class="MsoListParagraph"><o:p> </o:p></p>
<ol style="margin-top:0in" start="2" type="1">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level1 lfo1">There are no concrete references to the new Name Collision Assessment Framework that the DG is working on until the Conclusion paragraph and it is not even mentioned by name in that
 paragraph.  I think the Board will find this very confusing since one of the direct questions is “(4) possible courses of action that might mitigate harm “.  This questions is summarized on page 10 as “What possible courses of action can ICANN org take that
 might mitigate harm?   In the section on Proactive Measures, we should say that the DG is working to finalize a Recommendation for public comment that proposes a new Name Collision Assessment Framework.<o:p></o:p></li></ol>
<p class="MsoListParagraph"><o:p> </o:p></p>
<ol style="margin-top:0in" start="3" type="1">
<li class="MsoListParagraph" style="margin-left:0in;mso-list:l0 level1 lfo1">In the Summary and Conclusion, I think we need to add that controlled interruption measures from the 2012 round did not address any IPv6 issues (and any other issues that have arisen
 since 2012.)  For example I heard Jeff Schmidt say recently that there are problems using Day In the Life (DITL) data?  This is discussed a bit on page 16-17 but I think it has to be stated more simply in the Conclusion section.<o:p></o:p></li></ol>
<p class="MsoListParagraph"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">If we don’t address the above communication issues more directly, I think that what arrives in the Board’s inbox will be viewed as “theoretical exploration” of topics with no value to the Board in terms of being able to translate the answers
 into any sort of decision-making framework.  Personally, I don’t feel competent to add to the drafting since the responses are highly technical in nature.  How can we incorporate the above suggestions into the responses and at that same time, greatly SIMPLIFY
 the information the Board needs to digest?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">More detailed comments/questions:<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">p.4 – In the middle of the page, we refer to “formal denotation” of name collisions”.  Do we mean “formal definition”?  If so, can we say so?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">p. 5 – last paragraph – Could we please be more clear with explaining how the “private use of DNS suffixes” affects the name collision risk assessment?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">p.6 – at the top – “uninstantiated” names – what does this mean?  Is there a simpler way to describe them?  Is this an object-oriented computing term?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">p. 6 – last sentence of first paragraph.  “Those reactions ultimately depend on whatever signal is used internally to indicate a name does not exist”.   With respect to what is happening at the end user level, does “whatever signal” mean
 a notification to the end user?  And what do we mean by “internally”?  Internal to what?  Are we saying,  “In other words, the impact of negative answers depends on the notification mechanism to the end user?”<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">p. 6 – Last paragraph.  We have draft sentences which say as follows:  “Search list design that used second, third, and lower labels in a domain name (such as CORP, HOME, and MAIL) that would never appear in the root and would be easily
 resolved with search list processing because of negative responses.  This assumption is no longer valid.”  There seems to be a structural issue with the first sentence.  Can you please clarify?  Is there an extra “that” at the beginning of this sentence?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">p. 8 – With respect to the section on Communication Interception, is it worth mentioning the effect of DNS SEC in connection with this risk?<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">p. 9 – second paragraph – I would suggest adding “Two historical sources of data from the 2012 round….” to clarify the nature of the data you are describing.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">p. 10 –11 – The Board question is “What possible courses of action can ICANN org take that might mitigate harm?”   As noted above, in the section on “Proactive Measures to Reduce the Potential for Harm”, I have the following comments:
<o:p></o:p></p>
<p class="MsoNormal"> (a) Top of page 12 – last sentence of that paragraph – I don’t understand the analogy made comparing “controlled interruption” to a vaccination.  I also think that such an analogy is essentially way too loaded at this time in world health
 history.  If we are saying that controlled interruption gives a “snapshot” of risk at a certain period of time and may catch early end users of the name which is subject to the collision risk, then can we just say that?  In what way does this operate as a
 “vaccine” if the notification disappears?  <o:p></o:p></p>
<p class="MsoNormal">(b) The third paragraph makes the references to “high volume”, “high diversity” and “high metrics”  I don’t think Board members have any context for what we mean by this and it’s surprising we make no reference to the work the NCAP DG is
 doing to define  these criteria for the purpose of creating a new Name Collision Assessment Framework that the Board will be able to ultimately use in the next round of new gTLDs. 
<o:p></o:p></p>
<p class="MsoNormal">(c) page 13 j- middle of page “In some cases, proactive investigation of name collisions might yield a set of TLD strings whose query characteristics  are significantly high , enough so that outreach to identify the root cause and encourage
 configuration change might prove to be infeasible – at least in the short term.  In such cases, it might be more prudent to maintain a collision string registry of potentially problematic strings….”.     Again, no reference whatsoever to the work the DG is
 doing to develop criteria to assess such strings.  All the “might” and “could” language is not helpful here.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">p. 14 – Risks of Delegation<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">In the first bullet point, we state that “We are limited to the data we have available to make assessments with regard to name collisions”.  This implies that all the data exists at this point in time and doesn’t take into account the system
 that the NCAP DG is developing in order to assess data when a new string is applied for.  I think it’s important to keep in mind that the Board is looking for ways to apply risk management to the next round.   In the third bullet point, I had to look up “heuristic”
 to see it means “speculative formulation”.  Then at the end of that section we essentially say that all we can say about risk is that it is “non-zero”.  To my mind, this entire section is not at all helpful to the Board’s decision-making process. 
<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">p.  17 – Summary – Here we are talking about summarizing the answers related to “Criteria for Determining Whether a Collision String Should Not Be Delegated”, “Criteria for  Removal of a Collision String from the Do-Not-Delegate List” and
 “Data Requirements for String Determination” as well as “Concerns about Data Manipulation”.  The Summary should definitely refer to the metrics being developed in connection with Study 2 and should identify the fact that the NCAP DG has been working on a refined
 Name Collision Assessment Framework for years.  We should also say that in its present form, the proposal includes a “Technical Review Team” as opposed to making a vague reference to “technical experts”.  It will be the job of the Technical Review Team to
 assess both quantitative and qualitative risk and provide that risk assessment to the Board but the Summary gives no indication whatsoever that this proposed structure is being designed or “in the works” or going out for public comment anytime soon.  ( It
 just isn’t really helpful for our responses to be so theoretical.)<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">p/ 18 – next to the last paragraph – “each scenario must be handled on a case-by-case basis”.  If we are talking about analyzing risk in relation to each proposed new string, we definitely need to say so rather than talking about a “scenario”. 
   This paragraph is the first time we mention offering guidance to the Board on name collision risk management.  In this regard, I would recommend that the Conclusion section appear at the beginning of these responses to the Board questions and be labelled
 Executive Summary.   The responses would then end with the Summary section and I think the whole document would have a better reception at the Board level.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Thank you,<o:p></o:p></p>
<p class="MsoNormal">Anne<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<table class="MsoNormalTable" border="0" cellspacing="0" cellpadding="0" style="border-collapse:collapse">
<tbody>
<tr>
<td width="336" valign="top" style="width:3.5in;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal" style="line-height:106%"><b><span style="font-family:"Trebuchet MS",sans-serif;color:#323232">Anne E. Aikman-Scalese</span></b><o:p></o:p></p>
</td>
</tr>
<tr>
<td width="336" valign="top" style="width:3.5in;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal" style="margin-bottom:3.0pt;line-height:106%"><span style="font-family:"Trebuchet MS",sans-serif;color:#323232">Of Counsel</span><o:p></o:p></p>
</td>
</tr>
<tr>
<td width="336" valign="top" style="width:3.5in;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal" style="margin-bottom:3.0pt;line-height:106%"><span style="font-family:"Trebuchet MS",sans-serif;color:#323232"><img width="17" height="7" style="width:.175in;height:.075in" id="Picture_x0020_2" src="cid:image001.png@01D91F75.FACE2970"></span><o:p></o:p></p>
</td>
</tr>
<tr>
<td width="336" valign="top" style="width:3.5in;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal" style="line-height:106%"><span style="font-size:10.0pt;line-height:106%;font-family:"Trebuchet MS",sans-serif"><a href="mailto:AAikman@lewisroca.com" target="_new" title="Email User"><span style="color:#323232">AAikman@lewisroca.com</span></a></span><o:p></o:p></p>
</td>
</tr>
<tr>
<td width="336" valign="top" style="width:3.5in;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal" style="margin-bottom:.25in;line-height:106%"><span style="font-size:10.0pt;line-height:106%;font-family:"Trebuchet MS",sans-serif;color:#323232">D. 520.629.4428</span><o:p></o:p></p>
</td>
</tr>
<tr>
<td width="336" valign="top" style="width:3.5in;padding:0in 5.4pt 0in 5.4pt">
<p class="MsoNormal" style="margin-bottom:.25in;line-height:106%"><span style="font-size:10.0pt;line-height:106%;font-family:"Trebuchet MS",sans-serif"><img border="0" width="160" height="22" style="width:1.6666in;height:.2333in" id="Picture_x0020_1" src="cid:image002.png@01D91F75.FACE2970"></span><o:p></o:p></p>
</td>
</tr>
<tr>
<td width="336" valign="top" style="width:3.5in;padding:0in 5.4pt 0in 5.4pt"></td>
</tr>
</tbody>
</table>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> NCAP-Discuss <ncap-discuss-bounces@icann.org> <b>
On Behalf Of </b>Thomas, Matthew via NCAP-Discuss<br>
<b>Sent:</b> Tuesday, January 3, 2023 7:13 AM<br>
<b>To:</b> ncap-discuss@icann.org<br>
<b>Subject:</b> Re: [NCAP-Discuss] Reminder - Board Questions<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal"><strong><span style="font-size:9.0pt;font-family:"Helvetica",sans-serif;color:black">[EXTERNAL]</span></strong><span style="font-size:9.0pt;font-family:"Helvetica",sans-serif;color:black"><o:p></o:p></span></p>
<div class="MsoNormal" align="center" style="text-align:center">
<hr size="2" width="100%" align="center">
</div>
</div>
<p class="MsoNormal">This time with the attachments.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">NCAP-Discuss <<a href="mailto:ncap-discuss-bounces@icann.org">ncap-discuss-bounces@icann.org</a>> on behalf of "Thomas, Matthew via
 NCAP-Discuss" <<a href="mailto:ncap-discuss@icann.org">ncap-discuss@icann.org</a>><br>
<b>Reply-To: </b>"Thomas, Matthew" <<a href="mailto:mthomas@verisign.com">mthomas@verisign.com</a>><br>
<b>Date: </b>Tuesday, January 3, 2023 at 7:56 AM<br>
<b>To: </b>"<a href="mailto:ncap-discuss@icann.org">ncap-discuss@icann.org</a>" <<a href="mailto:ncap-discuss@icann.org">ncap-discuss@icann.org</a>><br>
<b>Subject: </b>[EXTERNAL] [NCAP-Discuss] Reminder - Board Questions<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<table class="MsoNormalTable" border="0" cellspacing="3" cellpadding="0" width="1185" style="width:888.75pt;background:#F5ECCE">
<tbody>
<tr>
<td width="1175" style="width:881.25pt;padding:.75pt .75pt .75pt .75pt">
<p><strong><span style="font-family:"Calibri",sans-serif;color:#993300">Caution:</span></strong><span style="color:#993300"> </span><span style="color:black">This email originated from outside the organization. Do not click links or open attachments unless
 you recognize the sender and know the content is safe. </span><o:p></o:p></p>
</td>
</tr>
</tbody>
</table>
<p class="MsoNormal">NCAP DG,<span style="font-size:12.0pt"><o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Happy New Year! This is a gentle reminder for you to review the draft Board Question document.
<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Please take some time to review the document and comment (directly in the Google doc if possible) with any questions or suggested changes.  The NCAP DG will be discussing and reviewing this document *tomorrow* during the NCAP DG call and
 we are still targeting a consensus call by mid-January.<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">The link to the Board Questions (PDF/Word copies attached for convenience):<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><a href="https://docs.google.com/document/d/17C342jQVjtx98NxWM7GBZAjVktY-Ipgl63u7mWURq18/edit" title="https://docs.google.com/document/d/17C342jQVjtx98NxWM7GBZAjVktY-Ipgl63u7mWURq18/edit#">https://docs.google.com/document/d/17C342jQVjtx98NxWM7GBZAjVktY-Ipgl63u7mWURq18/edit#</a><o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Best,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">Matt Thomas<o:p></o:p></p>
<p class="MsoNormal">NCAP co-chair<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<br>
<hr>
<font face="Arial" color="Gray" size="1"><br>
This message and any attachments are intended only for the use of the individual or entity to which they are addressed. If the reader of this message or an attachment is not the intended recipient or the employee or agent responsible for delivering the message
 or attachment to the intended recipient you are hereby notified that any dissemination, distribution or copying of this message or any attachment is strictly prohibited. If you have received this communication in error, please notify us immediately by replying
 to the sender. The information transmitted in this message and any attachments may be privileged, is intended only for the personal and confidential use of the intended recipients, and is covered by the Electronic Communications Privacy Act, 18 U.S.C. §2510-2521.
<br>
</font>
</body>
</html>