AI in the Age of Uncertainty - How did the Epidemic Reveal the Limitations of AI as a Decision-Making Tool, and What Can Be Done About It?

By: Tomer Shadmy

In recent years, private actors and national authorities have channeled increasing budgets and attention to Artificial Intelligence (AI) technologies as tools for managing social and infrastructural tasks. The recourse to big-data based technologies and to private companies that develop these technologies, as a refuge from political and professional decision making has become one of the chief hallmarks of the present era.

And then Covid-19 came along. The need to confront the pandemic showed that, with all due respect for AI technologies, there is no substitute for bold political decision making and functioning public health and welfare infrastructures and institutions as the foundation for protecting individuals and  entire populations. As time passes, however, and more information is accumulated, the use of big-data based technologies have become one of the key characteristics of the response to the pandemic. We soon began to hear about a growing number of initiatives for AI-based decision making. These range from predicting future flashpoints for the eruption of infection, through various means for maintaining social distance, and on to proposals to control populations during the release from shutdown. AI based decision-making systems can be very useful in coping with the pandemic, but at the same time the intensive turn to these tools has exposed some of their inherent limitations. Moreover, it reveals the urgent need to form comprehensive policy framework for the management and use of AI based decision-making systems for the benefit of the public. Such systems entail costs and ramifications some of which can be addressed and mitigated, while others cannot. Therefore, before adopting any such system, we must ask what added value it can bring to the specific task by comparison to other solutions.

Uncertainty, which is a fundamental feature of the current situation, is the litmus test that reveals the limits of AI as a tool for public decision-making. First, uncertainty and dynamism demonstrate the difficulty of relying on technology, which is based on identifying past patterns to predict the future. Machine learning (ML) systems are based on the identification of patterns in big-data. In a situation when the state of research and knowledge about the epidemic is so limited, drawing conclusions about future behavior based on past patterns may not be the most effective tool.

Second, uncertainty demonstrates the difficulty of relying on technology whose basic characteristic is opacity, and inability to produce an explanation for decisions. In times of uncertainty, transparency and reflexivity are required as tools for optimal decision making. A common property of current ML technologies is their opacity. They function as “black boxes” with very little possibilities to follow the logic that led to the decision. When such a system predicts the risk that individuals will contract a disease, and as a result restricts their freedom of movement or their ability to make a living, the political, social and ethical risk resulting from the lack of transparency of the system is great. Consider the difference between decision making on such issues based on clear and public criteria – such as a stay-home order in specific areas, or for workers in specific fields, or for individuals with a specific background illness – as compared to a situation where a system predicts serious infection or morbidity and determines who may leave home on the basis of unknown models grounded in big-data. Firstly, this entails the violation of individual autonomy, since instead of individuals deciding how to behave on the basis of clear criteria, the decision is transferred to an “omniscient” system. Transparency also helps individuals feel that they are not being unfairly targeted, and helps fight the tendency towards conspiracy theories that we see in this time of uncertainty.

Secondly, such a situation impairs the possibility to engage in public discourse. When criteria are general and public, people can try to understand their underlying logic, challenge them, and pursue a public and professional debate that in itself helps ensure precision and optimal decisions. When an ML system makes decisions on these matters, it is much harder to follow the logic behind the decision, and accordingly much harder to challenge it. Precisely because this is a time of uncertainty, in which we lack full information about the spread of the pandemic, the methods of infection and risks, transparency is particularly important. Transparency allows us to examine a decision from various perspectives, hear diverse opinions, and take an optimal decision. Therefore, when the state of research is dynamic and changing, and when knowledge about the characteristics of the pandemic are being collated and developed through peer review, debate, and professional discourse, it is vital to ensure that AI contribute to this pluralistic discourse rather than eliminating or replacing it.

Thirdly, relying on ranking systems that attribute weight to different factors in a non-transparent manner may harm vulnerable groups. If the system is built so that each individual serves as a single “user” who receives personal output in the form of a decision, individuals with knowledge and access will be able to challenge the decision, while those who lack this capital will be forced to accept the system’s decision. This is why it is important to ensure that information is accessible, so that those with access to the information can also examine the data on behalf of those without this capital.

Fourthly, a lack of transparency in decisions of such importance to individuals and to society as a whole is able to cloud value-based, professional, and political debate, thereby allowing decision makers to evade responsibility for their choices. The lack of transparency allows decision makers to shift the responsibility onto an “algorithm” that is perceived as essential, accurate, and independent, while in reality the design of the system and the quality of the data with which it is fed are all professional decisions with value-based and political dimensions.  As are the decisions as to what data to include and what to withhold, how to “teach” the system, what percentage of accuracy is it is to meet, which errors will be accepted and which not, and so on.

None of the above implies that ML cannot be helpful to us today. It can help and it should help. But it should not be regarded as a wizard that can help us avoid the need for difficult political decisions. We should always examine alternative options and take into account a range of issues when developing and inculcating such systems, in order to ensure that they will advance – or at least not damage – humans and democratic public interests. The following are some examples of these issues:

Collective reflexivity mechanisms – since for technological reasons ML-based systems cannot provide detailed explanations for the results they supply, there is a need to develop a range of mechanisms ensuring that their actions are transparent, challenged and supervised. This transparency may be achieved, for example, by providing  information about the manner in which the system was designed (the types of data entered and the goal the system seeks to secure); providing integrative data about the decisions taken by the system, enabling the identification of trends; and the creation of a system allowing the end users to collectively “play” with the system and examine whether a different result would have been obtained given changes in such factors as the user’s gender, place of residence, or profession. At the same time, there is a need for review and supervision by external experts and public representatives, both during the system design stage and during its operation. These steps could help reduce slightly the risk inherent in the absence of structural transparency. However, they cannot remove this risk entirely, and accordingly it is important to consider the need for each system in its own right.

Involving expertise from various fields in system design – any attempt to design, for example, a model predicting where an outbreak of the epidemic will occur, the extent of risk posed by a particular workplace or person, etc. cannot be developed solely by mathematicians, physicists, and AI experts. The system must also reflect the involvement of epidemiologists, sociologists, psychologists, ethicists and public health professionals. Different populations behave in different ways. A critical understanding of the data, knowledge of different communities, and attention to different variables are essential in order for a model to meet its purpose. Differences between different countries, and even between different communities within one country – including in the environmental, social, cultural, genetic, and gender spheres – are enormous. In order to make predictions about the future based on the existing information, expertise is needed concerning these different communities. In addition to a multidisciplinary approach, there is also a need for gender and cultural diversity – not merely because this is the proper and lawful approach, but also because such diversity offers at least a partial guarantee that various biases will be muted. The reason is not that men have blind spots. We all have blind spots, and accordingly the more varied the background of the scientists involved, the less critical these blind spots will be.

Coping with discrimination – decisions made by AI systems are often biased against women, Black people or minorities. This does not mean that the planners of these systems were chauvinists or racists, but is due to many other reasons, particularly the fact that the world itself is biased against women, Black people, and minorities, and these systems search for patterns within existing data. These biases not only harm various population groups, but also impair the reliability and precision of the system’s decisions. There are ways to cope with these biases, and in recent years many studies have been devoted to different ways of doing so. These methods are not perfect and have their own costs. Any selection of methods for confronting bias requires value-based and political decisions. For example, it must be decided which biases to correct and which to leave unchanged; whether to create equality between different populations regarding negative or positive errors (false positive / false negative), and so forth. Accordingly, any system development designed to regiment populations must include attention and preventative steps to avoid such biases, as well as transparency regarding the value-based choices that led to these steps.

Privacy – systems based on the systemic monitoring of citizens violate privacy. The violation of privacy serves as a gate and a foundation for the violation of other rights, including freedom of expression, association, and movement. It also serves as a gate to damage to general public interests, such as democracy.. Here it is important to examine whether it is actually vital that a system be based on personal information. What value does this add? How can the system be planned while protecting privacy? Here, too, a series of tools for privacy by design can be used in order to respond to some of the problems. Such tools were used, for example, in the Ministry of Health’s “Magen” software, but they have not been utilized sufficiently in other monitoring systems. In addition, it is important to avoid erroneous and misleading axioms suggesting that is necessary to choose between privacy and health. It is possible and desirable to achieve both. This requires knowledge and expertise, but more importantly, it demands goodwill on the part of the decision makers.

Creeping usage – one of the main problems that result from the excessively rapid adoption of surveillance and “automatic” decision-making technologies during a crisis is that this process normalizes the use of such systems. It normalizes our transformation from citizens to users, and it normalizes the use of social ranking as a technology for mass control. Additionally such usage creates new databases relating to citizens, and it is unclear how it will be possible to prevent this information from being used in the future for other purposes. Accordingly, any use of such systems, particularly ones based on surveillance, must constitute a last resort and not the first port of call when the decision makers consider the means available. Moreover, one of the main factors that creates ethical and social risks is the conversion of software developed for a particular purpose to serve a different goal. For example, the conversion of software intended to fight terror for use in locating sick people is not merely a technical procedure, but one that requires profound consideration of the basic assumptions that were applied when the system was designed, decisions concerning the required level of accuracy, expected types of errors, the user interface, the source and reliability of the data, the rights of the data-subjects, the ramifications of the use of the system, and so forth.

In addition to all the above, it is important to recall that as a “start-up nation” that is also engaged in a war in terror, Israel is in possession of some technological “hammers” – perhaps the most sophisticated hammers in the world. However, the long-term task of coping with the virus is not a nail. In fact, hammers may actually cause more harm than good. It is both possible and desirable to imagine a reality in which Israel leads in software development, but also in the creation of policy framework, ensuring public supervision and participation in the development and inculcation of AI-based systems. This will ensure that these systems promote personal wellbeing, the public good, and the interests of democratic society.

 

בינה מלאכותית בעידן של חוסר הוודאות

איך הקורנה חשפה את מגבלות הבינה המלאכותית ככלי לקבלת החלטות, ומה אפשר לעשות לגבי זה?

 

בשנים האחרונות יותר ויותר תקציבים, תשומת לב ציבורית ומדיניות להתמודדות עם בעיות חברתיות, פוליטיות ותשתיותיות הופנו לטכנולוגיות מבוססות בינה מלאכותית. הפנייה לטכנולוגיית מבוססת מידע עתק, ולחברות פרטיות שמפתחות את הטכנולגיות, כנתיב בריחה משיקול הדעת האנושי ומתהליכי קבלת החלטות במערכות פוליטיות שהולכות ומסתאבות, הפכה לאחד המאפיינים המרכזים של העידן הנוכחי.

ואז באה הקורונה. ההתמודדות עם המגפה חשפה שעם כל הכבוד לטכנולוגיות מידע, אין תחליף לתשתיות ומוסדות בריאות ורווחה ציבוריים חזקים ומתפקדים כבסיס לשמירה על בריאות וביטחון של פרטים ושל אוכלוסיות שלמות. עם זאת, ככל שהזמן חלף ויותר ויותר מידע הצטבר, שימוש במידע ועיבודו בדרכים שונות הפך לאחד המאפיינים הבולטים של התמודדות עם המגפה ומהר מאוד גם שמענו על יותר ויותר יוזמות לקבלת החלטות באמצעות בינה מלאכותית. החל מחיזוי מוקדי התפרצויות עתידיים, דרך אמצעים שונים לשמירת מרחק חברתי, ועד להצעות לשליטה על אוכולסיות בעת יציאה מהסגר. מערכות קבלת החלטות מבוססות מידע עתק יכולות לסייע מאוד להתמודדות עם המגפה, אבל דווקא האתגר של ההתמודדות עם המגפה חושף כמה מגבלות מבניות של מערכות כאלו כיום, ומעלה את הצורך הדחוף ביצירת מדיניות מקיפה לניהול מידע והשימושים בו לתועלת הציבור. להטמעת מערכות כאלו יש מחירים והשלכות, שעם חלק מהם ניתן להתמודד ולצמצמם, ועם חלק לא. על כן לפני כל אימוץ של מערכת כזו, צריך לשאול כמה ערך מוסף מערכת כזו יכולה להביא למשימה הספציפית, יחסית לחלופות אחרות.

המאפיין היסודי של התקופה הנוכחית הוא אי וודאות. אי הוודאות כמצב מוצא, חושפת את המגבלות המבניות של בינה מלאכותית כערוץ לקבלת החלטות ציבוריות. זאת ראשית מאחר שאי הוודאות, מדגימה את הקושי בהתבססות על טכנולוגיה שחוזה את העתיד, על בסיס דפוסים בעבר. מערכות למידת מכונה מתבססות על זיהוי דפוסים חוזרים במידע עתק. כאשר רב הנסתר על הגלוי בנוגע למחקר ולידע על המגפה מערכת שמסיקה מסקנות להתנהלות עתידית על סמך דפוסי עבר אינה בהכרח הפתרון המתאים. המפתח לשימוש והטמעה אחראית של מערכות כאלו כעת טמון בוויתור על האשליה בדבר בינה מלאכותית כפתרון קסם שמאפשר בהכרח החלטות איכותיות יותר מאשר אלו של מומחים בתחום, ולהשתמש בהן רק כאשר הן יכולות להביא תועלת ששיטות מחקר וקבלת החלטות אחרות לא יכולות.

שנית, אי הוודאות מדגימה את הקושי בהסתמכות על טכנולגיה שהמאפיין היסודי שלה הוא אטימות, וחוסר יכולת לספק הסבר להחלוטתיה. בזמני אי וודאות עולה הצורך בשקיפות ובדיון ציבורי שמאתגר ומגיב לקבלת ההחלטות הציבוריות. מאפיינים טכנולוגיים של מערכות למידת מכונה מביאים לכך שהן אינן שקופות ומתפקדות כמו "קופסא שחורה", שלא מאפשרת לעקוב אחרי ההגיון שהוביל להחלטה. אם מערכת כזו מכריעה איזה פרסומות נראה, אז הנזק בעובדה שלא ניתן לראות מבעד לקופסא השחורה הוא לכאורה קטן, אבל אם מערכת כזו חוזה את הסיכוי של פרטים להידבק במחלה, וכתוצאה מזה פוגעת בחופש התנועה שלהם וביכולתם להתפרנס, אז הנזק הרבה יותר גדול.

חישבו על ההבדל בין קבלת החלטות בעניינים כאלו על בסיס קריטריונים ברורים ופומביים – כמו למשל איסור יציאה מהבית באזורים מסויימים, או לבעלי מקצועות מסויימים, או לבעלי מחלות רקע מסויימות – אל מול מערכת שחוזה סיכוי הידבקות או תחלואה קשה ומכאן גם מכריעה מי זכאי לצאת מהבית על סמך מודלים עלומים מבוססי מידע עתק. ראשית, עלולה להיות כאן פגיעה באוטונומיה של פרטים, מאחר ובמקום והם יכריעו כיצד לנהוג בהתאם לקריטריונים, ההכרעה מעוברת למערכת "יודעת כל". 

שנית, יש כאן פגיעה באפשרות לקיום דיון ציבורי. כאשר הקריטריונים כללים ופומביים, אז אפשר לנסות ולהבין את ההגיון שמאחוריהם, אפשר לאתגר אותם, ליצור דיון ציבורי ומקצועי שהוא עצמו ערובה לדיוק וטיוב ההחלטות. כאשר מערכת בינה מלאכותית מכריעה בעניינים כאלו, קשה הרבה יותר לעמוד על הלוגיקה שמאחורי ההחלטה ולכן הרבה יותר קשה לערער עליה. בזמנים כאלו, דווקא בגלל חוסר הוודאות, דווקא בגלל שאין בידנו מידע מלא על התפשטות המגפה, אופני ההדבקה והסיכונים, שקיפות חשובה. שקיפות מאפשרת לבחון החלטה מפרספקטיבות שונות, היא מאפשרת לדיעות שונות להישמע, כדי להגיע להחלטה המיטיבית. כאשר גם המחקר המדעי הוא דינמי ומשתנה והידע על המגפה ומאפיינה נצבר ומתפתח על יסוד ביקורת עמיתים, עימותים ושיג ושיח מקצועי, יש לוודא שתוצרי בינה מלאכותית יתרמו לדיון מרובה קולות כזה, ולא יכחידו או יחליפו אותו.

שלישית, הסתמכות על מערכות דירוג הקובעות ציון לכל אחד מהפרטים באופן לא שקוף, עלולה לפגוע באוכלוסיות החלשות בחברה. שכן, אם המערכת בנוייה כך שכל אדם הוא "משתמש" יחיד ובודד שמקבל פלט אישי של החלטה, אז מי שיש לו ידע ונגישות יוכל לערער על החלטה, ומי שאין לו את ההון הזה ייאלץ לקבל כל החלטה של המערכת. לכן יש חשיבות למידע נגיש, על מנת שבעלי הנגישות לידע יוכלו לבחון את הנתונים גם בעבור מי שאין לו את ההון הזה.

רביעית, היעדר שקיפות בהכרעות בעלות חשיבות כזו לפרטים ולחברה בכללותה, עלולה למסך את הדיון הערכי-המקצועי-הפוליטי, ולאפשר למקבלי החלטות להימנע מלקבל אחריות על ההכרעות שלהם. היא  מאפשרת למקבלי החלטות להעביר את האחריות מהם ל"אלגוריתם", שנתפס כהכרחי, מדויק בלתי תלוי, בעוד למעשה העיצוב שלו, מקור ואיכות המידע שמוזן אליו, ההחלטה באיזה מידע להזין אותו ובאיזה מידע לא, ההחלטה כיצד ל"למד" את המערכת, מה אחוז הדיוק הרצוי שלה, איזה סוגי טעויות לקבל ואיזה לא, כל אלו הן החלטות מקצועיות, שהן גם ערכיות ופוליטיות.

כל זאת לא מוביל לכך שהטכנולוגיה לא יכולה לסייע היום, היא יכולה והיא צריכה, אבל לא צריך לפנות אליה כקוסמת, שתפתור אותנו מהכרעות הכרחיות וקשות. יש לבדוק תמיד חלופות, ויש לקחת בחשבון סדרת סוגיות בפיתוח ובהטמעה של מערכות כאלו, על מנת לוודא שהן ייטיבו או לפחות לא תפגענה בבני אדם ובאינטרסים ציבוריים דמוקרטיים. בין הסוגיות הללו למשל:

מנגונוני שקיפות ודיון קולקטיביים – מאחר ומבחינה טכנולוגית מערכות מבוססות למידת מכונה לא יכולות לספק הסבר מעמיק לתוצאות שהן מספקות, יש צורך בעיצוב מנגנונים שונים של שקיפות, השתתפות ופיקוח על פעולתן. שקיפות כזו יכולה להיות מושגת למשל על ידי סיפוק נתונים על אופן עיצוב המערכת (סוגי המידע שמוזנים אליה, המטרה שהיא מבקשת להשיג), סיפוק נתונים אגרגטיביים על החלטות המערכת שיאפשרו לראות מגמות בהחלטות ויצירת מערך שיאפשר למשתמשי הקצה ל"שחק" באופן משותף עם המערכת – לבחון האם התוצאה הייתה שונה לגביהם בהינתן שינויים כמו מגדר המשתמש, מקום מגורים או מקצוע. במקביל יש צורך בביקורת ופיקוח על ידי מומחים חיצוניים, הן בשלב עיצוב המערכת והן בעת הפעלתה. צעדים אלו יכולים לצמצם במעט את הסיכון שבהיעדר שקיפות מובנית, אבל לא להעלימו לגמרי, ולכן יש לשקול נחיצותה של כל מערכת לגופה. 

מעורבות מומחיות מתחומים שונים בעיצוב המערכת – כל מאמץ לפתח מודל שחוזה למשל היכן תתפרץ המגפה/מה הסיכון הנשקף ממקום עבודה מסוים/אדם מסוים וכו' לא יכול להיות מפותח רק על ידי מתמטיקאים, פיסיקאים ומומחי בינה מלאכותית, אלא חייב להיות פרי של עבודה משותפת גם של אפידמיולוגיות, סוציולוגיות, פסיכולוגיות, נשות בריאות הציבור. אוכלוסיות שונות מתנהגות באופן שונה. בלי יכולת להבין את הנתונים הקיימים באופן ביקורתי, בלי ידע על קהילות שונות, בלי התייחסות למשתנים שונים, שום מודל לא יכול למלא את ייעודו. המשתנים הסביבתיים, החברתיים, התרבותיים, הגנטיים, המגדריים, בין מדינה למדינה עצומים וגם בין יישובים בתוך ישראל – כדי להסיק ממידע קיים מסקנות שחוזות את העתיד, חייבים מומחיות הנוגעת לקהילות השונות.
מעבר לגיוון בדיספלינות יש צורך גם בגיוון מגדרי ותרבותי, לא רק כי ככה ראוי וחוקי, אלא שגיוון כזה הוא ערובה מסוימת, אם כי לא מספיקה, לצמצום הטיות שונות. לא כי לגברים יש נקודות עיוורון, אלא כי לכולנו יש נקודות עיוורון, ולכן ככל שהרקע של המדענים מגוון גם אזורי העיוורון האלו קטנים יחסית.

התמודדות עם אפליה – החלטות של מערכות בינה מלאכותית פעמים רבות מוטות נגד נשים, נגד שחורים או מיעוטים. זאת לא בגלל שמי שמתכנן אותם שובינסט או גזען, אלא בגלל הרבה סיבות אחרות, ובראשן העובדה שהעולם עצמו הוא מוטה כנגד נשים שחורים ומיעוטים, ומערכות כאלה מחפשות דפוסים בתוך מידע קיים. ההטיות האלו לא רק פוגעות באוכלוסיות שונות, הן גם פוגמות במהימנות ובדיוק של החלטות המערכת. יש דרכים להתמודד עם ההטיות האלו, ומחקרים רבים בשנים האחרונות מוקדשים לשיטות התמודדות השונות. שיטות אלו לא מושלמות וגם להן יש מחירים. כל בחירה בשיטות להתמודדות עם הטיות מחייבת הכרעות ערכיות-פוליטיות. למשל יש להכריע אילו הטיות לתקן הטיות ואילו לא, האם ליצור שיוויון בין אוכלוסיות ביחס לטעויות שליליות או חיוביות (פולס פוטיטיב/פולס נגטיב) וכדומה. לפיכך, כל פיתוח שישמש להסדרת אוכלוסיות חייב התייחסות וצעדי מנע למניעת הטיות כאלו, וכן שקיפות ביחס לבחירות הערכיות שהובילו לצעדים אלו.

פרטיות – מערכת שמתבססות על מעקב סיסטמטי אחרי אזרחים פוגעת בפרטיות. פגיעה בפרטיות היא השער והבסיס לפגיעה בזכויות אחרות כמו חופש הביטוי, ההתאגדות, התנועה. היא גם שער לפגיעה באינטרסים ציבוריים כלליים – כמו דמוקרטיה למשל.
כאן צריך לבדוק האם חיוני בכלל שמערכת תתבסס על מידע אישי? איזה ערך זה מביא? כיצד לתכנן את המערכת תוך שמירה על הפרטיות? גם כאן יש סדרה של כלים של הנדסת פרטיות שיכולים לענות על חלק מהבעיות, וננקטו למשל באפליקציית
"מגן" של משרד הבריאות, אך לא ננקטו באופן מספק במערכי עיקוב אחרים. מעבר לכך חשוב  להימנע ממסגורים מוטעים ומטעים לפיהם יש לבחור לבחור בין פרטיות ולבין בריאות, שכן, אפשר ורצוי להשיג את שניהם, זה דורש אמנם ידע ומומחיות, אבל זה בעיקר דורש רצון מצד מקבלי ההחלטות.   

שימוש זוחל -  אחת הבעיות המרכזיות של אימוץ מהיר מדי של טכנולוגיות מעקב והכרעה "אוטומטית" בשעת משבר, היא שאימוץ כזה מנרמל את השימוש ואת המעקב ההמוני, מנרמל את ההפיכה שלנו מאזרחים למשתמשים, מנרמל את הדירוג החברתי כטכנולוגיית שליטה בהמונים. ולא רק מנרמל, אלא מייצר מאגרי מידע חדשים על אזרחים, שלא ברור כיצד ניתן למנוע שישרתו מטרות שונות בעתיד. לכן כל שימוש במערכות כאלה, במיוחד כאלו המתבססות על מעקב אחרי אזרחים, צריך להיות הברירה האחרונה ולא הראשונה בבחינת האמצעים העומדים ביד מקבלי ההחלטות. לא רק זאת אלא שאחד הגורמים המרכזיים ליצירת סיכונים אתיים וחברתיים, הוא הסבת תוכנה שפותחה למטרה מסוימת לצורך מטרה אחרת.  הסבת תוכנה שנועדה ל"הילחם בטרור" לאיתור חולים למשל, היא לא רק הליך טכני, אלא מחייבת בחינה מעמיקה של הנחות המוצא של עיצוב המערכת, של החלטות הנוגעות למידת הדיוק הנדרשת, לסוג הטעויות הצפוי, לממשק המשתמש, למקור ולמהימנות המידע, לזכויות מושאי המידע, להשלכות השימוש במערכת ועוד.

מעבר לכל אלה חשוב לזכור כי נכון של"סטרט-אפ ניישן" שאנחנו, שגם נלחמת בטרור, יש "פטישים" טכנולוגיים, אולי המשוכללים בעולם, אבל מדיניות התמודדות עם הנגיף לאורך זמן לא רק שאינה מסמר, אלא שהפטישים עלולים לגרום לה הרבה יותר נזק מתועלת. אפשר ורצוי לדמיין מציאות בה לא רק שישראל תוביל בפיתוח תוכנה אלא גם תוביל ביצירת מערך לפיקוח והשתתפות ציבוריים בפיתוח ובהטמעה של מערכות מבוססות בינה מלאכותית, על מנת שאלו יביאו  לשגשוג של פרטים, של הטוב הציבורי ושל החברה הדמוקרטית.