<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; color: rgb(0, 0, 0); font-size: 14px; font-family: Calibri, sans-serif;"><div>Original Link:&nbsp;<a href="https://www.icann.org/news/blog/expectations-of-service-level-expectations">https://www.icann.org/news/blog/expectations-of-service-level-expectations</a></div><div><br></div><div><h1 style="box-sizing: border-box; font-size: 1.31rem; margin: 0px 0px 10px; font-family: Lato, Helvetica, Arial, sans-serif; color: rgb(51, 51, 51); padding: 0px 0px 1rem; border-bottom-width: 1px; border-bottom-style: solid; border-bottom-color: rgb(207, 207, 207); line-height: normal; widows: 1; background-color: rgb(255, 255, 255); font-weight: 500 !important;">Expectations of Service Level Expectations</h1><div class="addthis_toolbox addthis_default_style addthis_32x32_style u-text-xxxl" style="box-sizing: border-box; font-size: 1.62rem; margin-bottom: 30px; color: rgb(51, 51, 51); font-family: helvetica, arial, sans-serif; line-height: normal; widows: 1; background-color: rgb(255, 255, 255);"><a class="addthis_button_linkedin u-linkClean u-colorGrey at300b" target="_blank" title="LinkedIn" href="https://www.icann.org/news/blog/expectations-of-service-level-expectations#" style="box-sizing: border-box; color: gray; cursor: pointer; margin-right: 7.5px; margin-bottom: 5px; line-height: initial; float: left; padding: 0px 2px; width: auto; background-color: transparent; text-decoration: none !important; background-position: initial initial; background-repeat: initial initial;"><span class="fa fa-linkedin" style="box-sizing: border-box; display: inline-block; line-height: 1; font-family: FontAwesome; font-size: 1.2rem; text-rendering: auto; -webkit-font-smoothing: antialiased; transform: translate(0px, 0px);"></span></a><a class="addthis_button_facebook u-linkClean u-colorGrey at300b" title="Facebook" href="https://www.icann.org/news/blog/expectations-of-service-level-expectations#" style="box-sizing: border-box; color: gray; cursor: pointer; margin-right: 7.5px; margin-bottom: 5px; line-height: initial; float: left; padding: 0px 2px; width: auto; background-color: transparent; text-decoration: none !important; background-position: initial initial; background-repeat: initial initial;"><span class="fa fa-facebook" style="box-sizing: border-box; display: inline-block; line-height: 1; font-family: FontAwesome; font-size: 1.2rem; text-rendering: auto; -webkit-font-smoothing: antialiased; transform: translate(0px, 0px);"></span></a><a class="addthis_button_twitter u-linkClean u-colorGrey at300b" title="Tweet" href="https://www.icann.org/news/blog/expectations-of-service-level-expectations#" style="box-sizing: border-box; color: gray; cursor: pointer; margin-right: 7.5px; margin-bottom: 5px; line-height: initial; float: left; padding: 0px 2px; width: auto; background-color: transparent; text-decoration: none !important; background-position: initial initial; background-repeat: initial initial;"><span class="fa fa-twitter" style="box-sizing: border-box; display: inline-block; line-height: 1; font-family: FontAwesome; font-size: 1.2rem; text-rendering: auto; -webkit-font-smoothing: antialiased; transform: translate(0px, 0px);"></span></a><a class="addthis_button_sinaweibo u-linkClean u-colorGrey at300b" target="_blank" title="Sina Weibo" href="https://www.icann.org/news/blog/expectations-of-service-level-expectations#" style="box-sizing: border-box; color: gray; cursor: pointer; margin-right: 7.5px; margin-bottom: 5px; line-height: initial; float: left; padding: 0px 2px; width: auto; background-color: transparent; text-decoration: none !important; background-position: initial initial; background-repeat: initial initial;"><span class="fa fa-weibo" style="box-sizing: border-box; display: inline-block; line-height: 1; font-family: FontAwesome; font-size: 1.2rem; text-rendering: auto; -webkit-font-smoothing: antialiased; transform: translate(0px, 0px);"></span></a><a class="addthis_button_email u-linkClean u-colorGrey at300b" target="_blank" title="Email" href="https://www.icann.org/news/blog/expectations-of-service-level-expectations#" style="box-sizing: border-box; color: gray; cursor: pointer; margin-right: 7.5px; margin-bottom: 5px; line-height: initial; float: left; padding: 0px 2px; width: auto; background-color: transparent; text-decoration: none !important; background-position: initial initial; background-repeat: initial initial;"><span class="fa fa-envelope-o" style="box-sizing: border-box; display: inline-block; line-height: 1; font-family: FontAwesome; font-size: 1.2rem; text-rendering: auto; -webkit-font-smoothing: antialiased; transform: translate(0px, 0px);"></span></a><a class="addthis_button_compact u-linkClean u-colorGrey at300m" href="https://www.icann.org/news/blog/expectations-of-service-level-expectations#" style="box-sizing: border-box; color: gray; cursor: pointer; margin-right: 7.5px; margin-bottom: 5px; line-height: initial; float: left; padding: 0px 2px; width: auto; background-color: transparent; text-decoration: none !important; background-position: initial initial; background-repeat: initial initial;"><span class="fa fa-plus" style="box-sizing: border-box; display: inline-block; line-height: 1; font-family: FontAwesome; font-size: 1.2rem; text-rendering: auto; -webkit-font-smoothing: antialiased; transform: translate(0px, 0px);"></span></a><div class="atclear" style="box-sizing: border-box; clear: both;"></div></div><div class="EmbeddedHTML" style="box-sizing: border-box; color: rgb(51, 51, 51); font-family: helvetica, arial, sans-serif; font-size: 16px; line-height: normal; widows: 1; background-color: rgb(255, 255, 255);"><h3 style="box-sizing: border-box; font-family: Lato, Helvetica, Arial, sans-serif; font-size: 1.31rem; padding: 0.75rem 0px 0.5rem; margin: 0px; font-weight: 500 !important;">Introduction</h3><p style="box-sizing: border-box; line-height: 1.4rem; font-size: 1rem; margin: 0px 0px 1.25rem;">Recently,&nbsp;<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>&nbsp;staff has been working to meet the community requirements related to establishing metrics for the performance of the "Post Transition&nbsp;<abbr title="Internet Assigned Numbers Authority" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">IANA</abbr>" as it processes root zone management requests. For those not following the development of the Service Level Expectations, the agreed upon principles for the monitoring, reporting, and assessment of these requests were:</p><ol style="box-sizing: border-box; margin: 0px 0px 1.25rem; padding: 0px 0px 0px 30px;"><li style="box-sizing: border-box; line-height: 1.4rem; margin: 0px 0px 15px 20px;"><em style="box-sizing: border-box;">Attributable measures. Where practical, individual metrics should be reported attributing time taken to the party responsible. For example, time spent by&nbsp;<abbr title="Internet Assigned Numbers Authority" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">IANA</abbr>&nbsp;staff processing a change request should be accounted for distinctly from time spent waiting for customer action during a change request.</em></li><li style="box-sizing: border-box; line-height: 1.4rem; margin: 0px 0px 15px 20px;"><em style="box-sizing: border-box;">Overall times. Notwithstanding the previous principle, there is value in overall metrics being reported to identify general trends associated with end-to-end processing times.</em></li><li style="box-sizing: border-box; line-height: 1.4rem; margin: 0px 0px 15px 20px;"><em style="box-sizing: border-box;">Relevance. There should be a distinction between metrics that should be collected to support general analysis, versus which are the critical metrics that are considered important to set specific thresholds for judging breaches in&nbsp;<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>'s ability to provide an appropriate level of service.</em></li><li style="box-sizing: border-box; line-height: 1.4rem; margin: 0px 0px 15px 20px;"><em style="box-sizing: border-box;">Clear definition. Each metric should be sufficiently defined such that there is a commonly held understanding on what is being measured, and how an automated approach would be implemented to measure against the standard.</em></li><li style="box-sizing: border-box; line-height: 1.4rem; margin: 0px 0px 15px 20px;"><em style="box-sizing: border-box;">Definition of thresholds. The definition of specific thresholds for a performance criteria should be set based on analysis of actual data. This may require first the definition of a metric, a period of data collection, and later analysis by the community before defining the threshold.</em></li><li style="box-sizing: border-box; line-height: 1.4rem; margin: 0px 0px 15px 20px;"><em style="box-sizing: border-box;">Review process. The service level expectations should be reviewed periodically, and adapted based on the revised expectations of the community and updates to the environment. They should be mutually agreed between the community and the&nbsp;<abbr title="Internet Assigned Numbers Authority" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">IANA</abbr>&nbsp;Functions Operator.</em></li><li style="box-sizing: border-box; line-height: 1.4rem; margin: 0px 0px 15px 20px;"><em style="box-sizing: border-box;">Regular reporting. To the extent practical, metrics should be regularly reported in a near real-time fashion.</em></li></ol><p style="box-sizing: border-box; line-height: 1.4rem; font-size: 1rem; margin: 0px 0px 1.25rem;">As of 2 March, the necessary code changes to enable the collection of timing information for the Service Level Expectations have been in production. The next step may be to consider what we'll do with the data collected. In this post, we'll discuss how we got to where we are and what to expect going forward.</p><h3 style="box-sizing: border-box; font-family: Lato, Helvetica, Arial, sans-serif; font-size: 1.31rem; padding: 0.75rem 0px 0.5rem; margin: 0px; font-weight: 500 !important;">Background: Setting Measurement Requirements</h3><p style="box-sizing: border-box; line-height: 1.4rem; font-size: 1rem; margin: 0px 0px 1.25rem;">A Cross-Community Working Group (CWG) Design Team, specifically ("<abbr title="Drafting Team" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">DT</abbr>-A"), was tasked with developing performance standards.&nbsp;<abbr title="Drafting Team" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">DT</abbr>-A developed a set of metrics to collect in order to assess the service levels provided by the&nbsp;<abbr title="Internet Assigned Numbers Authority" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">IANA</abbr>&nbsp;root zone management function. This development process included&nbsp;<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>&nbsp;staff as subject matter experts who walked through the detailed root zone management process with the Design Team explaining how it works and discussing the implications of various proposed measurements.&nbsp;<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>&nbsp;staff contributed our explanations of the typical processing flows, as well as sharing unusual cases that may make some measures more complicated than they may appear at first glance. While&nbsp;<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>&nbsp;staff did not set the metrics, we did advise the Design Team when we thought certain measurements would be impossible to collect. The conclusion of this work is the Design Team's final report, which formed part of the CWG proposal.</p><h3 style="box-sizing: border-box; font-family: Lato, Helvetica, Arial, sans-serif; font-size: 1.31rem; padding: 0.75rem 0px 0.5rem; margin: 0px; font-weight: 500 !important;">Implementation: Adding New Measurement Capabilities to RZMS</h3><p style="box-sizing: border-box; line-height: 1.4rem; font-size: 1rem; margin: 0px 0px 1.25rem;">Since the completion of the CWG proposal, the team that develops&nbsp;<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>'s&nbsp;<abbr title="Root Zone" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">Root Zone</abbr>&nbsp;Management System (RZMS) has worked to instrument the system to capture system events that relate to the proposed new metrics. This was necessary as some of the measurements from the Design Team's work relate to fine details of certain process flows that weren't recorded originally. As mentioned, this work has been completed and the first version that supports this new logging was deployed on 2 March 2016.<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>&nbsp;staff will be reviewing the first batches of log data to determine whether further refinement is needed to successfully calculate and report against the SLEs.</p><h3 style="box-sizing: border-box; font-family: Lato, Helvetica, Arial, sans-serif; font-size: 1.31rem; padding: 0.75rem 0px 0.5rem; margin: 0px; font-weight: 500 !important;">Production</h3><p style="box-sizing: border-box; line-height: 1.4rem; font-size: 1rem; margin: 0px 0px 1.25rem;"><strong style="box-sizing: border-box;">Collecting Initial Data</strong></p><p style="box-sizing: border-box; line-height: 1.4rem; font-size: 1rem; margin: 0px 0px 1.25rem;">With the new performance statistics collection capabilities of the RZMS in place,&nbsp;<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>&nbsp;staff has begun collecting raw data. These data will form the basis of future discussions with the broader root zone management community, i.e., the many organizations that manage TLDs. In these discussions, we expect to explore which metrics are key and what the Post Transition&nbsp;<abbr title="Internet Assigned Numbers Authority" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">IANA</abbr>'s performance against those metrics should be. The CWG proposal requires service levels be set using analysis of actual data, and this data will be used in that analysis. Given the time constraints associated with the transition and our expectations that the metrics must evolve over time, we believe an initial data collection of three (3) months will sufficient to set a baseline for the initial thresholds as discussed below.</p><p style="box-sizing: border-box; line-height: 1.4rem; font-size: 1rem; margin: 0px 0px 1.25rem;"><strong style="box-sizing: border-box;">Data Aggregation and Reporting</strong></p><p style="box-sizing: border-box; line-height: 1.4rem; font-size: 1rem; margin: 0px 0px 1.25rem;">While the initial data collection is underway,&nbsp;<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>&nbsp;staff will develop the necessary systems and tools to aggregate the raw data flow and convert the data into the formats the community expects. These formats will include a dashboard view suitable for real time publication, and any regular reports that need to be generated. In addition, a version of the raw logs with confidential information redacted will be published allowing third parties to perform their own analysis and measurements as well as providing a way to independently verify our interpretation of the data. We will share our progress as the data collection and tools are developed and publish the data as soon as we gain confidence in their accuracy.</p><p style="box-sizing: border-box; line-height: 1.4rem; font-size: 1rem; margin: 0px 0px 1.25rem;"><strong style="box-sizing: border-box;">Setting Thresholds and Service Levels</strong></p><p style="box-sizing: border-box; line-height: 1.4rem; font-size: 1rem; margin: 0px 0px 1.25rem;">With sufficient data in hand to perform comprehensive analyses, and with the tools necessary to analyze and report the data deployed, we will engage with the community of&nbsp;<abbr title="Top Level Domain" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">TLD</abbr>&nbsp;managers to identify what the "critical metrics" are, and what their thresholds will need to be. These thresholds, once agreed between<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>&nbsp;staff and the community, will be the new root zone management performance standards in the post-transition environment. Beyond this, the regular feedback mechanisms defined in the transition proposal, including engagement with the newly formed Customer Standing Committee (CSC), will inform the future evolution of the reporting and expected performance of the&nbsp;<abbr title="Internet Assigned Numbers Authority" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">IANA</abbr>&nbsp;root zone management.</p><h3 style="box-sizing: border-box; font-family: Lato, Helvetica, Arial, sans-serif; font-size: 1.31rem; padding: 0.75rem 0px 0.5rem; margin: 0px; font-weight: 500 !important;">Conclusion</h3><p style="box-sizing: border-box; line-height: 1.4rem; font-size: 1rem; margin: 0px 0px 1.25rem;">We have begun collecting the metrics the community and&nbsp;<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>&nbsp;staff agreed upon.&nbsp;<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>&nbsp;staff looks forward to working with the community as the data related to timing of root zone management actions by staff, community, and others are obtained, collated, and made available to those interested in keeping with&nbsp;<abbr title="Internet Corporation for Assigned Names and Numbers" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">ICANN</abbr>'s commitment to openness and transparency. We anticipate that a period of three (3) months of metrics collection will provide sufficient data to set performance targets for&nbsp;<abbr title="Internet Assigned Numbers Authority" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">IANA</abbr>. After the transition has been implemented, the CSC will be able to evaluate&nbsp;<abbr title="Internet Assigned Numbers Authority" style="box-sizing: border-box; unicode-bidi: bidi-override; direction: ltr; border-bottom-width: 1px; border-bottom-style: dotted; border-bottom-color: rgb(153, 153, 153); cursor: help; transition: all 0.2s; -webkit-transition: all 0.2s;">IANA</abbr>&nbsp;root zone management performance and adjust specific service levels to best meet the community's needs.</p></div></div></body></html>