<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
p.MsoPlainText, li.MsoPlainText, div.MsoPlainText
        {mso-style-priority:99;
        mso-style-link:"Plain Text Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0in;
        margin-right:0in;
        margin-bottom:0in;
        margin-left:.5in;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.PlainTextChar
        {mso-style-name:"Plain Text Char";
        mso-style-priority:99;
        mso-style-link:"Plain Text";
        font-family:"Calibri",sans-serif;}
span.EmailStyle21
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle22
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle23
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle24
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle25
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle26
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle27
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle28
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle29
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle30
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle31
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle32
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle33
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle34
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle35
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle36
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle37
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle38
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle39
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle40
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.apple-converted-space
        {mso-style-name:apple-converted-space;}
span.EmailStyle42
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle43
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle44
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle45
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle46
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle47
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle48
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle49
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle50
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle51
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body lang="EN-US" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal">Dear Working Group members,<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Please see below the notes from the meeting on 12 September 2019.
<b><i>These high-level notes are designed to help WG members navigate through the content of the call and are not a substitute for the recording, transcript, or the chat,</i></b> which will be posted at:
<a href="https://community.icann.org/display/NGSPP/2019-09-12+New+gTLD+Subsequent+Procedures+PDP">
https://community.icann.org/display/NGSPP/2019-09-12+New+gTLD+Subsequent+Procedures+PDP</a>.
<o:p></o:p></p>
<p class="MsoNormal">  <o:p></o:p></p>
<p class="MsoNormal">Kind regards,<o:p></o:p></p>
<p class="MsoNormal">Julie<o:p></o:p></p>
<p class="MsoNormal">Julie Hedlund, Policy Director<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><b>Notes and Action Items:</b><o:p></o:p></p>
<p class="MsoNormal"><b> </b><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:12.0pt;color:black"></span><span style="font-size:12.0pt">1. Updates to Statements of Interest: No updates provided.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"> <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">2. Review of summary documents:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"> <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">a. Role of Application Comment -- See:
<a href="https://docs.google.com/document/d/1Q6_DxsCvSA_3B7ArncO2U4tWNY3vH7Wi4nINrouR4AI/edit?usp=sharing">
https://docs.google.com/document/d/1Q6_DxsCvSA_3B7ArncO2U4tWNY3vH7Wi4nINrouR4AI/edit?usp=sharing</a>, page 51, Outstanding Items<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">High-Level Agreements:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Most were presented as implementation guidance.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Also proposal for applicants to have a short time period to respond to public comments.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">Application Comment System Usability and Attachments:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- ICANN Org: Comment form does offer a number of the functions that the WG asked to have cover.  Attachments are not searchable and sortable.  Also could ask cost for review and evaluation<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">Discussion:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">--  ICANN Org’s comments seem to be backward looking on the existing system.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- ICANN Org will try to use as much of the existing systems as possible.  Will assess whether or not the tool is still fit for purpose and if not we will rebuild.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Clarify that ICANN Org’s concern is not a technical concern for attachments, but that if we allow attachments that means that someone could attach a 300 page document to a comment and it would take the
 evaluation panel longer to review, with associated costs.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Compromise is that the substance has to be in the comment itself and the attachment could only be used for reference or confirmation of what is in the comment.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Still have an issue that anyone can set up an email and send in a comment but it doesn’t mean that they are a real person -- not validating that they are who they say they are.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- ICANN Org: Identify verification is very challenging to do particularly given the volume of applications and application comments.  Right now we just make sure it is not a robot.  <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Question: Why does the identify of the commenter matter at all?  If the comment itself is valuable?  Answer: There are two comments -- general comment period and comments that can impact scoring.  The person
 making comments in a community priority evaluation should matter.  Important to note that many of the same comments are posted to make it seem like there is widespread concern about an application, but that isn’t necessarily widespread.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Key point here is that the verification process currently in place does not tackle the larger issue of gaming during public comment, although I realize that it helps reduce automated commenting.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">How Application Comments are taken into account and impact on scoring:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- ICANN Org -- what does the WG mean when ICANN should be more explicit in the AGB on how different types will or will not impact scoring -- helpful to be more clear about what we mean by “more explicit”. 
 What should the new rules and guidelines be?<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- WG is saying that it will still be left to the evaluators to consider those comments but the community should develop guidelines so that we don’t leave them so much discretion.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Ensure that is a comment comes in that may impact the scoring then applicants should be able to address that directly.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">Discussion:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Clarification on ICANN Org comments -- the evaluation panel has to look at those comments that were directed to them.  It’s not a matter of whether or not they can choose, especially if that causes them
 to change a score, then they will have to seek clarification from the applicant.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- But the above isn’t documented in the AGB.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Part of this is documenting what ICANN Org has already been doing in practice.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Needs to be more transparency in how comments are considered.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- The WG is saying if the comment could have an impact on the scoring, before it is scored, then ICANN Org seeks clarification.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- For CPE in 2012 the evaluator had the opportunity to reach out at their discretion.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Note that CPE is unique.  One of the criteria for a community application was level of support and another was level of opposition.  So there might need to be other issues to consider for Community Applications.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">Change in the length of time for application comment in relation to Community Priority Evaluation (CPE):<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Support for a longer comment period.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Support for equal length comment period.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- “letters of opposition” should be considered a form of public comment and should adhere to the same submission deadlines.  Concern about comments coming in years later for community applications.  Should
 come in within a defined time period.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">Discussion:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Timing of the last round should not be repeated.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- There needs to be an ending point.  Need predictability.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Need to have a beginning, middle, and end.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- 2012 AGB referenced public comment and community objection. No reference to “letters of Opposition”.  They should be considered part of public comment.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Most important to have predictability -- at least a beginning and end.  Whether that beginning and end for CPE comment period is run at the exact same time as the general public comment period -- as long
 as it is predictable.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- If you look at 2012, was most of the substance came in during the public comment period.  What came in later was people amplifying previous comments.  Left the door open to gaming.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Why should community applicants be subjected to longer comment periods just because ICANN org chose to put CPE at the end of the evaluation process. would standard applicants be open to longer comment periods
 if community priority is done at the beginning of subsequent procedures?<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">Responding to comments that might impact scoring through Clarifying Questions; and<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">Applicants given time to respond to the public comments prior to the consideration of those comments:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- NCSG: New Idea - The NCSG believes that if applicants are allowed to respond to comment, commenters should be allowed another round of comments (question 2.3.e.2)<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- NCSG: New Idea - Last but not least, the broader community should be allowed to respond, critique and comment on the applicant’s response. It is very important to have this public response period, following
 applicant’s and something past experience shows it is critical for the future applicant guidebook to include.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">Discussion:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Re: NCSG comment -- sounds like too much back and forth.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Re: NCSG comment -- this is a traditional way of doing things.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Two questions 1) does the comment affect scoring and the applicant doesn’t respond -- what is the consequence; 2) if the applicant does respond should the commenter be allowed to respond, and what are the
 consequences.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Applicants have the option to respond or not to comments -- if the comment is positive, there is less reason TO respond, if the comment is negative, then evaluators may rely on that omission TO RESPOND
 as a presumption of some sort or not.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Finish the loop -- make sure they did address the comment.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Could support giving the commenter an opportunity to respond in a defined time and manner.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Think about certain of number of days for comment, reply, comment.  Only use for a limited purpose.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">b. Name Collisions -- See: <a href="https://docs.google.com/document/d/1Q6_DxsCvSA_3B7ArncO2U4tWNY3vH7Wi4nINrouR4AI/edit?usp=sharing">
https://docs.google.com/document/d/1Q6_DxsCvSA_3B7ArncO2U4tWNY3vH7Wi4nINrouR4AI/edit?usp=sharing</a>, page 55<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- No high-level agreements.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Very technical issue being addressed in other areas of the community.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Not enough from a policy perspective.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- We do know that there is an NCAP Phase 1 study that is starting -- RFP, but don’t know if a vendor has been selected.  Don’t know if Phase 1 will lead to Phase 2. Don’t know what Phase 2 would be.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- The PDP WG Co-Chairs asked the Council to clarify with the Board what it is thinking in terms of dependencies.  GNSO Council drafted a note to send to the Board, Co-Chairs commented asking for more specificity,
 forwarded draft to the WG, GNSO Council will send to the Board.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"> <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">3. AOB: Update on SLAs<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Where are we on providing more details with the SLAs?  Some information provided by GDD but not the same level of detail as was provided to the contracted parties.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Staff spoke with GDD to convey the problems we are trying to solve and when might they deliver.  It is a non-negligible amount of work to get that information.  Could the WG further refine the problem it
 is trying to solve.  Perhaps GDD could tailor that information.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- We have seen ICANN use that data in certain ways.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- If we can’t get the context of what is behind the data then we can’t make any assumptions.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:12.0pt">-- Jim Prendergast will follow up with more comments via email.
</span><o:p></o:p></p>
</div>
</body>
</html>